概述

OpenClaw 媒体能力的全景视图,涵盖图像生成、视频生成、音乐生成、文本转语音、媒体理解和语音转文本六大能力。所有媒体能力均为工具驱动,Agent 根据对话决定何时使用,每个工具仅在至少一个后端 provider 配置后才出现。

核心功能

六大媒体能力

能力工具执行模式说明
图像生成image_generate同步文本/参考图像生成,秒级完成
视频生成video_generate异步文本/图像/视频生成,后台运行
音乐生成music_generate异步(共享)/ 同步(ComfyUI)音乐/音频生成
文本转语音tts同步回复转语音,附加到消息
媒体理解内置同步理解入站图像/音频/视频
语音转文本内置批量/流式转录入站语音消息

Provider 能力矩阵(主要 provider)

Provider图像视频音乐TTSSTT实时语音媒体理解
Google✓✓✓✓✓✓
OpenAI✓✓✓✓✓✓
MiniMax✓✓✓✓
xAI✓✓✓✓✓
fal✓✓
ComfyUI✓✓✓
DeepInfra✓✓✓✓✓
ElevenLabs✓✓

同步 vs 异步

  • 同步:图像生成、TTS(秒级,内联完成)
  • 异步:视频生成、音乐生成(共享 provider)(30 秒到数分钟,后台任务)
  • ComfyUI 音乐:同步(本地 workflow)

异步工具流程:提交 → 返回 task id → provider 后台处理 → 完成后唤醒 Agent → Agent 发送结果。

Live Speech(Talk 模式)

Talk 会话有三种模式:

  • realtime:provider 原生实时语音
  • stt-tts:本地/流式 STT + TTS
  • transcription:仅观察语音,不合成回复

相关页面