GPT OSS 使用指南

GPT OSS 使用指南#

请参考 sgl-project/sglang#8833。

回复 API 和内置工具#

回复 API#

GPT‑OSS 兼容 OpenAI 回复 API。使用 client.responses.create(...)，并提供 model、instructions、input 和可选的 tools 参数来启用内置工具使用。您可以通过 instructions 设置推理级别，例如 "Reasoning: high"（也支持 "medium" 和 "low"）— 级别包括：低（快速）、中（平衡）、高（深度）。

内置工具#

GPT‑OSS 可以调用内置工具进行网络搜索和 Python 执行。您可以使用演示工具服务器或连接到外部 MCP 工具服务器。

Python 工具#

  • 执行简短的 Python 代码片段进行计算、解析和快速脚本编写。

  • 默认在基于 Docker 的沙盒环境中运行。如果在主机上运行，请设置 PYTHON_EXECUTION_BACKEND=UV（这会在本地执行模型生成的代码；请谨慎使用）。

  • 如果不使用 UV 后端，请确保 Docker 可用。建议提前运行 docker pull python:3.11。

网络搜索工具#

  • 使用 Exa 后端进行网络搜索。

  • 需要 Exa API 密钥；请在您的环境中设置 EXA_API_KEY。在 https://exa.ai 创建密钥。

工具和推理解析器#

  • 我们支持 OpenAI 推理和工具调用解析器，以及我们 SGLang 原生的工具调用和推理 API。有关更多详细信息，请参考 推理解析器 和 工具调用解析器。

注意事项#

  • 演示工具使用 Python 3.12。并安装所需的 gpt-oss 包。

  • 默认演示通过 Docker 集成了网络搜索工具（Exa 后端）和演示 Python 解释器。

  • 对于搜索，请设置 EXA_API_KEY。对于 Python 执行，要么可用 Docker，要么设置 PYTHON_EXECUTION_BACKEND=UV。

示例：

export EXA_API_KEY=YOUR_EXA_KEY
# 可选：在本地而非 Docker 中运行 Python 工具（请谨慎使用）
export PYTHON_EXECUTION_BACKEND=UV

使用演示工具服务器启动服务器：

python3 -m sglang.launch_server \
  --model-path openai/gpt-oss-120b \
  --tool-server demo \
  --tp 2

对于生产使用，sglang 可以作为多个服务的 MCP 客户端。提供了一个示例工具服务器。启动服务器并将 sglang 指向它们：

mcp run -t sse browser_server.py:mcp
mcp run -t sse python_server.py:mcp

python -m sglang.launch_server ... --tool-server ip-1:port-1,ip-2:port-2

URL 应该是暴露服务器信息和文档完善工具的 MCP SSE 服务器。这些工具被添加到系统提示中，以便模型可以使用它们。

快速演示#

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:30000/v1",
    api_key="sk-123456"
)

tools = [
    {"type": "code_interpreter"},
    {"type": "web_search_preview"},
]

# 推理级别示例
response = client.responses.create(
    model="openai/gpt-oss-120b",
    instructions="You are a helpful assistant."
    reasoning_effort="high" # 支持 high、medium 或 low
    input="In one sentence, explain the transformer architecture.",
)
print("====== reasoning: high ======")
print(response.output_text)

# 测试 Python 工具
response = client.responses.create(
    model="openai/gpt-oss-120b",
    instructions="You are a helfpul assistant, you could use python tool to execute code.",
    input="Use python tool to calculate the sum of 29138749187 and 29138749187", # 58,277,498,374
    tools=tools
)
print("====== test python tool ======")
print(response.output_text)

# 浏览器工具测试
response = client.responses.create(
    model="openai/gpt-oss-120b",
    instructions="You are a helfpul assistant, you could use browser to search the web",
    input="Search the web for the latest news about Nvidia stock price",
    tools=tools
)
print("====== test browser tool ======")
print(response.output_text)

示例输出：

====== test python tool ======
The sum of 29,138,749,187 and 29,138,749,187 is **58,277,498,374**.
====== test browser tool ======
**Nvidia (NVDA) 股票最新新闻标题**

| 日期 (2025) | 来源 | 关键新闻要点 | 股价详情 |
|-------------|--------|----------------|--------------------|
| **5月13日** | Reuters | 市场数据显示 Nvidia 以 **$116.61** 交易"走高"，与前收盘价相比没有变化。 | **$116.61** – 最新交易（延迟约15分钟）【14†L34-L38】 |
| **8月18日** | CNBC | 摩根士丹利维持"增持"评级，并将目标价上调至 **$206**（从 $200 上调），意味着较周五收盘价有 14% 上涨空间。该公司指出 Nvidia 股票今年已**上涨 34%**。 | 未引用确切价格，但文章显示强烈上涨预期【9†L27-L31】 |
| **8月20日** | The Motley Fool | Nvidia 计划于 8 月 27 日发布第二季度财报。文章列出**当前价格 $175.36**，较前一交易日下跌 0.16%（截至美东时间下午 3:58）。 | **$175.36** – 8月20日当前价格【10†L12-L15】【10†L53-L57】 |

**新闻告诉我们什么**

* Nvidia 股价今年大幅上涨——根据摩根士丹利，上涨约三分之一——分析师仍在上调目标价（现达 $206）。
* 最新市场报价（路透社，5月13日）为**$116.61**，但此后股价大幅上涨，到8月中旬达到**$175.36**。
* **8月27日**即将发布的财报是焦点；《The Motley Fool》和摩根士丹利都预期结果可能推动持续上涨。

**总结：** Nvidia 股票在 2025 年呈现强劲上升趋势，目标价攀升至 $200-$210 区间，截至8月下旬市场价已接近 $175。
目录