概述
OpenClaw 媒体能力的全景视图,涵盖图像生成、视频生成、音乐生成、文本转语音、媒体理解和语音转文本六大能力。所有媒体能力均为工具驱动,Agent 根据对话决定何时使用,每个工具仅在至少一个后端 provider 配置后才出现。
核心功能
六大媒体能力
| 能力 | 工具 | 执行模式 | 说明 |
|---|---|---|---|
| 图像生成 | image_generate | 同步 | 文本/参考图像生成,秒级完成 |
| 视频生成 | video_generate | 异步 | 文本/图像/视频生成,后台运行 |
| 音乐生成 | music_generate | 异步(共享)/ 同步(ComfyUI) | 音乐/音频生成 |
| 文本转语音 | tts | 同步 | 回复转语音,附加到消息 |
| 媒体理解 | 内置 | 同步 | 理解入站图像/音频/视频 |
| 语音转文本 | 内置 | 批量/流式 | 转录入站语音消息 |
Provider 能力矩阵(主要 provider)
| Provider | 图像 | 视频 | 音乐 | TTS | STT | 实时语音 | 媒体理解 |
|---|---|---|---|---|---|---|---|
| ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ||
| OpenAI | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | |
| MiniMax | ✓ | ✓ | ✓ | ✓ | |||
| xAI | ✓ | ✓ | ✓ | ✓ | ✓ | ||
| fal | ✓ | ✓ | |||||
| ComfyUI | ✓ | ✓ | ✓ | ||||
| DeepInfra | ✓ | ✓ | ✓ | ✓ | ✓ | ||
| ElevenLabs | ✓ | ✓ |
同步 vs 异步
- 同步:图像生成、TTS(秒级,内联完成)
- 异步:视频生成、音乐生成(共享 provider)(30 秒到数分钟,后台任务)
- ComfyUI 音乐:同步(本地 workflow)
异步工具流程:提交 → 返回 task id → provider 后台处理 → 完成后唤醒 Agent → Agent 发送结果。
Live Speech(Talk 模式)
Talk 会话有三种模式:
realtime:provider 原生实时语音stt-tts:本地/流式 STT + TTStranscription:仅观察语音,不合成回复
相关页面
- tool-image-generation — 图像生成工具
- tool-video-generation — 视频生成工具
- tool-music-generation — 音乐生成工具
- tool-tts — 文本转语音工具