是什么

Computer Use 让 Claude 可以打开应用、点击、输入、截图,直接控制 macOS 桌面。适用于无法通过 MCP、Bash 或 Chrome 扩展完成的 GUI 任务——原生应用、模拟器、无 API 的工具。Claude 优先使用更精确的工具(MCP → Bash → Chrome → Computer Use),只在其他方式都不适用时才使用屏幕控制。

核心机制

典型场景:

  • 编译 Swift/iOS 应用后点击验证每个控件
  • 端到端 UI 测试(无需 Playwright 配置)
  • 复现并修复视觉布局 Bug(调整窗口大小、截图、修改 CSS、验证)
  • 操控无 API 的 GUI 工具(设计工具、硬件控制面板、iOS 模拟器)

启用步骤:

  1. 在会话中运行 /mcp
  2. 找到 computer-use 服务器并启用(每个项目只需一次)
  3. 首次使用时授予 macOS 辅助功能和屏幕录制权限

安全机制:

  • 每次会话需逐个批准应用访问权限
  • 终端窗口不出现在截图中(防止提示注入)
  • 全局 Esc 键随时中止(按键被消耗,防止注入利用)
  • 同一时间只有一个会话可控制屏幕(机器级锁)
  • 高风险应用(终端、Finder、系统设置)显示额外警告

截图处理:自动降采样(Retina 屏幕约缩小至 40%),无需手动调整分辨率。

关键细节

  • 仅支持 macOS(CLI 版),Windows 需用 Desktop 版
  • 需要 Pro 或 Max 计划,不支持 Team/Enterprise
  • 需要 Claude Code v2.1.85+,需要交互式会话(不支持 -p 非交互模式)
  • 不支持第三方提供商(Bedrock/Vertex/Foundry)
  • 控制级别因应用类型而异:浏览器和交易平台仅查看,终端和 IDE 仅点击,其他完全控制

关联

  • chrome-extension — 浏览器任务的首选方案(比 Computer Use 更精确)
  • desktop — Desktop 版 Computer Use(支持 macOS 和 Windows)
  • platforms-overview — Computer Use 在整体平台中的位置

实践要点

  • 先考虑 MCP 或 Chrome 扩展,Computer Use 是最后手段(最慢、最不精确)
  • 批准应用时注意警告:终端等同于 shell 访问,Finder 可读写任意文件
  • 如果 Claude 看不清屏幕上的文字,在应用中增大字体而不是降低显示分辨率
  • 遇到「Computer use is in use by another Claude session」时,退出另一个会话
  • 授予屏幕录制权限后可能需要重启 Claude Code 才能生效