媒体理解（Media Understanding）

OpenClaw 可在回复流水线运行前对入站媒体（图像/音频/视频）进行摘要。理解是可选的，失败不阻塞回复。

处理流程

1. 收集入站附件（MediaPaths、MediaUrls、MediaTypes）
2. 按策略为每个能力（image/audio/video）选择附件（默认：first）
3. 选择第一个符合条件的模型条目（大小 + 能力 + 认证）
4. 失败或超限时，回退到下一个条目
5. 成功后：Body 替换为 [Image]/[Audio]/[Video] 块

配置结构

{
  tools: {
    media: {
      models: [/* 共享模型列表 */],
      image: { /* 可选覆盖 */ },
      audio: { echoTranscript: true, echoFormat: '📝 "{transcript}"' },
      video: { maxChars: 500 },
      concurrency: 2  // 默认并发数
    }
  }
}

模型条目类型

Provider 条目：

{
  type: "provider",
  provider: "openai",
  model: "gpt-5.5",
  capabilities: ["image"],
  maxBytes: 10485760,
  maxChars: 500
}

CLI 条目：

{
  type: "cli",
  command: "gemini",
  args: ["-m", "gemini-3-flash", "--allowed-tools", "read_file",
         "Read the media at {{MediaPath}} and describe it in <= {{MaxChars}} characters."],
  capabilities: ["video", "image"]
}

CLI 模板变量：{{MediaPath}}、{{MediaDir}}、{{OutputDir}}、{{OutputBase}}

自动检测顺序（未配置时）

1. 当前回复模型（若 provider 支持）
2. agents.defaults.imageModel（仅图像）
3. 本地 CLI（仅音频）：sherpa-onnx-offline → whisper-cli → whisper
4. Gemini CLI
5. Provider 认证（按能力分类的内置回退顺序）

默认大小限制

能力	maxBytes	maxChars
图像	10MB	500
音频	20MB	不限
视频	50MB	500

Provider 支持矩阵

能力	支持的 Provider
图像	OpenAI、Anthropic、Google、MiniMax、Moonshot、Qwen、Z.AI 等
音频	OpenAI、Groq、xAI、Deepgram、Google、SenseAudio、ElevenLabs、Mistral
视频	Google、Qwen、Moonshot

附件策略

attachments: {
  mode: "first" | "all",
  maxAttachments: 1,
  prefer: "first" | "last" | "path" | "url"
}

相关页面

• nodes-audio — 音频转录详情
• nodes-images — 图像与媒体支持