gpt-oss

gpt-oss 是 OpenAI 推出的开源模型系列，方向落在推理、代理任务和通用开发者场景上，按参数规模分为 120b 和 20b 两个版本：大版本面向生产环境，小版本更适配低延迟、本地运行或特定用途。模型训练时使用 OpenAI 的 harmony 响应格式，输入同样需要遵循这一格式，否则无法正常工作。对希望自己掌握权重、按需改造的开发者来说，这是一套可以直接下载部署的开源方案。

模型规模选择

• 双版本并行：120b 版本面向生产环境；20b 版本体积更小，适合本地部署或对响应速度要求高的场景。
• 格式要求固定：训练基于 harmony 格式，调用时输入也要符合该格式，换成别的格式模型不会正常输出。
• 许可条件宽松：采用 Apache 2.0 许可，自由使用、自行定制和商业部署都被允许。

推理能力表现

• 推理可配置：推理力度能按任务轻重调整，简单的请求不必消耗多余算力。
• 推理过程可见：完整的链式推理过程保留下来，方便核对模型得出结论的路径。
• 支持二次训练：模型开放微调，可以用自有数据做针对性训练。
• 量化开销低：支持 MXFP4 量化，在压缩权重占用的同时维持推理表现。

上手调用方式

• 工具选择多：Transformers、vLLM、Ollama、LM Studio 等都能用来加载和推理。
• 参考实现全：官方提供 PyTorch、Triton、Metal 等实现，对应不同硬件条件。
• 适配代理场景：模型面向代理任务设计，适合接入需要多步执行的开发流程。

把可配置推理、代理能力和宽松许可放在一起，从服务器 GPU 到本地设备都能找到合适的运行路径，这类组合在开源模型里并不常见。如果你正在找一套能自己跑、能改、也能商用的模型，gpt-oss 值得花时间实际试一遍。