避免/重新确认/支持来到gpt-oss系列，这是Om6米6体育在线 penAI推出的开放权重模型，专为强大的推理、代理任务和多功能开发者用例而设计。

OpenAI发布了两种开放模型：

gpt-oss-120b—适用于生产、通用和高推理用例，可在一m6米6体育在线使用完整视频 块H100GPU上运行（1170亿参数，其中51亿为活跃参数）。

gpt-oss-20b—适用于低延迟、本地或专用用例（210亿参数，其中36亿为活跃参数）。

这两个模型均使用我们的harmony响应格式进行训练，并且只能与该格式一起使用，否则将无法正常工作。

下面以gpt-oss-120b模型为例讲解本地部署教程。如需了解较小的模型，请将参数换成gpt-oss-20b即可。

亮点宽松的Apache2.0许可证：可严格的限制构建，不受反向许可证批准或专利风险，非常适合实验、定制和商业部署。可配置的推理工作量：根据您的具体用例和延迟需求，轻松调整不当推理工作量（低、中、高）。多余的思维链：可以完全访问模型的推理过程，从而更轻松地进行调试并降低对输出的接受度。不适合向最终用户展示。可微调：通过参数微调，将模型完全定制到您的特定用例。代理功能：利用失败模型的原生功能进行函数调用、网页浏览、Python代码执行和结构化输出。原生MXFP4量化：模型采用原生MXFP4精度训练MoE层，使得gpt-oss-120b可以在单个H100GPU上运行，而gpt-oss-20b模型可以在16GB内存中运行。推理示例Transformers

您可以使用Transformers运行gpt-oss-120b和gpt-oss-20b。如果您使用Transformers聊天模板，它会自动应用harmony响应格式。如果您直接使用model.generate，则需要使用聊天模板手动应用harmony格式，或使用我们的openai-harmony软件包。

首先，安装必要的依赖项来设置您的环境：

pipinstall-Utransfor米乐体育_下注 merskernelstorch

设置完成后，您可以通过运行以下代码片段来运行模型：

fromtransformersimportpipelineimporttorchmodel_id=“openai/gpt-oss-120b”pipe=pipeline(“text-generation”,model=model_id,torch_dtype=”auto”,device_map=”auto”,)messages=[{“role”:“user”,“content”:“Explainquantummechanicsclearlyandconcisely.”},]outputs=pipe(messages,max_new_tokens=256,)print(outputs[0][“generated_text”][-1])

另外，您还可以通过TransformersServe运行模型，以启动一个与OpenAI兼容的网络服务器：

transformersservetransformerschatlocalhost:8000–model-name-or-pathopenai/gpt-oss-120b

了解更多关于如何将gpt-oss与Transformers配合使用的信息。

vLLM

vLLM推荐使用uv来无约束的自由Python依赖项。您可以使用vLLM启动一个与OpenAI兼容的网络服务器。以下命令将自动下载模型并启动服务器。

uvpipinstall–prevllm==0.10.1+gptoss–extra-index-urlhttps://wheels.vllm.ai/gpt-oss/–extra-index-urlhttps://download.pytorch.org/whl/nightly/cu128–index-strategyunsafe-best-matchvllmserveo米乐app官网 penai/gpt-oss-120b

了解更多关于如何将gpt-oss与vLLM配合使用的信息。

PyTorch/Triton

要了解如何将此模型与PyTorch和Triton配合使用，请查阅gpt-oss仓库中的参考实现。

Ollama

如果您尝试在消费级硬件上运行gpt-oss，您可以在安装Ollama后运行以下命令：

#gpt-oss-120bollamapullgpt-oss:120bollamarungpt-oss:120b

了解更多关于如何将gpt-oss与Ollama配合使用的信息。

LMStudio

如果您正在使用LMStudio，您可以使用以下命令进行下载：

#gpt-oss-120blmsgetopenai/gpt-oss-120b

请查阅我们的awesomelist，以获取更广泛的gpt-oss资源和推理合作伙伴一整片的单位。

下载模型

您可以直接从HuggingFaceCLI从HuggingFaceHub下载模型权重：

gpt-oss-120bhuggingface-clidownloadopenai/gpt-oss-120b–include“original/*”–local-dirgpt-oss-120b/`pipinstallgpt-osspython-mgpt_oss.chatmodel/

推理级别

您可以根据您的任务需求调整不当推理级别：

低：快速响应，适用于一般对话。中：速度和细节之间取得不平衡的。高：深入而详细的分析。推理级别可以在系统提示中设置，例如：“Reasoning:high”。工具使用

gpt-oss模型非常适合：

网页浏览（使用内置浏览工具）。使用定义的模式进行函数调用。代理操作，例如浏览器任务。微调

两种gpt-oss模型都可以针对各种专用用例进行微调。

较大的gpm6米6体育在线使用视频完整在线看t-oss-120b模型可以在单个H100节点上进行微调，而较小的gpt-oss-20b甚至可以在消费级硬件上进行微调。

作者：乔伊

来源：次元乔伊

米乐体育_网址 米乐体育_登录 米乐体育m6官网