Firecrawl 搜索与抓取工具

概述

Firecrawl 是一个托管的网页提取/搜索服务，支持反爬虫和缓存。OpenClaw 以三种方式使用它：作为 web_search 提供商、作为独立插件工具（firecrawl_search 和 firecrawl_scrape）、以及作为 web_fetch 的回退提取器。

核心功能

• web_search 提供商：支持 query 和 count 参数
• firecrawl_search：Firecrawl 专属搜索，支持 sources、categories、scrapeResults 等高级参数
• firecrawl_scrape：JS 密集型或反爬虫页面的内容提取，支持 proxy 模式（basic/stealth/auto）
• web_fetch 回退：Readability 失败时自动使用 Firecrawl
• 自动检测优先级：order 60

配置/使用

作为 web_search 提供商：

{
  tools: { web: { search: { provider: "firecrawl" } } },
  plugins: {
    entries: {
      firecrawl: {
        enabled: true,
        config: {
          webSearch: { apiKey: "FIRECRAWL_API_KEY_HERE" },
        },
      },
    },
  },
}

作为 web_fetch 回退：

{
  plugins: {
    entries: {
      firecrawl: {
        enabled: true,
        config: {
          webFetch: {
            apiKey: "FIRECRAWL_API_KEY_HERE",
            onlyMainContent: true,
            maxAgeMs: 172800000,  // 2天缓存
          },
        },
      },
    },
  },
}

环境变量：FIRECRAWL_API_KEY、FIRECRAWL_BASE_URL

注意事项

• 默认使用 proxy: "auto" + storeInCache: true
• auto 模式在基础尝试失败时自动切换到 stealth 代理（可能消耗更多额度）
• 自托管 Firecrawl 只允许私有/内部端点，公共端点必须使用 https://api.firecrawl.dev
• firecrawl_scrape 在转发前会拒绝私有/loopback/元数据目标 URL

相关页面

• concepts/tool-web — Web 搜索工具总览
• concepts/tool-web-fetch — web_fetch 工具（Firecrawl 作为回退）
• concepts/tool-tavily — Tavily（类似的搜索+提取工具）