LiteLLM

LiteLLM 是一个开源项目，以 Python 库和代理服务器两种形态发布，瞄准的是同一个麻烦：手上有多个大模型服务，却要各写一套对接代码。它的做法是把 OpenAI 的调用格式当作统一标准，请求写一次，就能转发到 OpenAI、Azure、Anthropic、Cohere、Hugging Face 等服务商，切换上游时的改动通常只是换个模型名。目前覆盖的模型包括 GPT-3.5-turbo、Claude 2、LLaMA、Qwen 等，官网、文档和源码仓库都对外开放。

• 官方网站：https://www.litellm.ai/
• 使用文档：https://docs.litellm.ai/docs/
• 开源仓库：https://github.com/BerriAI/litellm

统一调用接口

• 格式统一：沿用 OpenAI 的参数写法，换服务商时基本不用重写业务代码。
• 两种形态：可以直接作为 Python 库嵌进项目，也能单独起一个代理进程对外提供接口。
• 上手门槛低：pip 安装后照着文档示例改几行，就能跑通第一条请求。
• 模型覆盖广：官方称支持上百家提供商，常见商用与开源模型大多在列。

服务端能力

• 密钥托管：各家的 API 密钥收在代理层，客户端不必逐个保存和分发。
• 负载均衡：同一模型配多个上游时，可以按设定策略把请求分摊出去。
• 失败重试：调用报错时自动重试，减少偶发故障造成的请求中断。
• 支出跟踪：记录调用产生的开销，便于按项目或团队查看用量。

适合人群

• 应用开发者：项目里需要并存或随时切换多家模型，又不想维护多套 SDK。
• 平台团队：要给内部搭一个统一出口，集中管密钥、路由和额度。
• 成本敏感方：想对比不同服务商的稳定性与开销，再决定流量怎么分。

LiteLLM 的定位很明确——把多模型接入这件琐碎事收拢到一层统一接口上，源码开放，文档也跟得上。如果你正被多家大模型的接口差异拖着走，或者打算给团队做一层内部网关，这个项目值得点开仓库翻一翻，先跑个示例感受一下成本。