Provider - LiteLLM

LiteLLM 是开源 LLM 代理服务，通过统一接口路由到多个 LLM 提供商，支持虚拟密钥、模型路由和使用量追踪。

快速启动

启动 LiteLLM 代理：

pip install litellm[proxy]
litellm --model gpt-4o
# 默认监听 http://0.0.0.0:4000

在 OpenClaw 中配置：

providers:
  litellm:
    url: http://127.0.0.1:4000
    api_key: your_virtual_key
model: litellm/gpt-4o

配置文件

LiteLLM 支持通过 config.yaml 管理多个模型：

# litellm config.yaml
model_list:
  - model_name: gpt-4o
    litellm_params:
      model: openai/gpt-4o
      api_key: os.environ/OPENAI_API_KEY
  - model_name: claude-3-5-sonnet
    litellm_params:
      model: anthropic/claude-3-5-sonnet-20241022
      api_key: os.environ/ANTHROPIC_API_KEY

启动时加载配置：

litellm --config config.yaml

虚拟密钥

LiteLLM 支持为不同用户/应用生成虚拟密钥，统一管理访问权限：

# 通过 LiteLLM 管理界面或 API 创建虚拟密钥
curl -X POST http://localhost:4000/key/generate \
  -H "Authorization: Bearer sk-master-key" \
  -d '{"models": ["gpt-4o"], "max_budget": 10}'

模型路由

LiteLLM 支持负载均衡和故障转移：

# litellm config.yaml
router_settings:
  routing_strategy: least-busy  # 或 latency-based, cost-based
model_list:
  - model_name: fast-model
    litellm_params:
      model: groq/llama-3.3-70b-versatile
  - model_name: fast-model  # 同名，自动负载均衡
    litellm_params:
      model: groq/llama-3.1-8b-instant

使用量查看

通过 LiteLLM 管理界面查看各模型使用量、费用统计：

# 访问管理界面
open http://localhost:4000/ui

代理行为说明

LiteLLM 代理对 OpenClaw 表现为标准 OpenAI 兼容端点
模型名称映射由 LiteLLM 侧配置，OpenClaw 只需指定 LiteLLM 中定义的 model_name
流式、工具调用、多模态等能力取决于底层模型支持情况

Wiki AI

目录