Local Models

在本地 GPU 上运行 LLM，通过 OpenAI 兼容接口连接 OpenClaw。

硬件要求

• 最低：24 GB GPU（仅适合轻量提示，高延迟）
• 推荐：≥2 台满配 Mac Studio 或同等 GPU 设备（~$30k+）
• 始终运行最大/完整尺寸变体（小型/量化模型提示注入风险更高）

后端选择

后端	适用场景
LM Studio	首次本地设置，GUI 加载器，原生 Responses API
Ollama	CLI 工作流，模型库，无头 systemd 服务
MLX/vLLM/SGLang	高吞吐量自托管，OpenAI 兼容 HTTP 端点
LiteLLM/OAI-proxy	代理另一个模型 API

推荐：LM Studio + Responses API

{
  agents: {
    defaults: {
      model: { primary: "lmstudio/my-local-model" },
    },
  },
  models: {
    mode: "merge",
    providers: {
      lmstudio: {
        baseUrl: "http://127.0.0.1:1234/v1",
        apiKey: "lmstudio",
        api: "openai-responses",
        models: [
          {
            id: "my-local-model",
            name: "Local Model",
            reasoning: false,
          },
        ],
      },
    },
  },
}

Ollama 配置

{
  models: {
    providers: {
      ollama: {
        baseUrl: "http://127.0.0.1:11434/v1",
        apiKey: "ollama",
        models: [{ id: "llama3.2:latest" }],
      },
    },
  },
}

本地模型服务（按需启动）

{
  models: {
    providers: {
      lmstudio: {
        localService: {
          healthUrl: "http://127.0.0.1:1234/v1/models",
          startCommand: "lms server start",
          stopCommand: "lms server stop",
        },
      },
    },
  },
}

兼容性配置

{
  models: {
    providers: {
      custom: {
        models: [{
          id: "my-model",
          compat: {
            requiresStringContent: true,  // content 需要字符串
            supportsTools: false,          // 不支持工具调用
          },
        }],
      },
    },
  },
}

相关

• model-providers — 内置提供商列表
• concepts/gateway-runbook — Gateway 运维