Groq 是基于 LPU(Language Processing Unit)的高速推理服务,提供 OpenAI 兼容 API。

认证

export GROQ_API_KEY=your_api_key

配置文件中指定:

model: groq/llama-3.3-70b-versatile

内置模型

模型说明
llama-3.3-70b-versatile默认模型,通用场景
llama-3.1-8b-instant轻量快速
llama-4-maverick / llama-4-scoutLlama 4 系列
gemma2-9bGoogle Gemma 2
mistral-saba-24bMistral 系列
kimi-k2Moonshot Kimi
gpt-oss-120b / gpt-oss-20bOpenAI OSS 系列
qwen-qwq-32b / qwen3-32bQwen 系列
deepseek-r1-distill-llama-70bDeepSeek R1 蒸馏版
compound / compound-miniGroq 复合模型

建议默认:groq/llama-3.3-70b-versatile

推理模型(Thinking)

Groq 推理模型通过 /think 后缀触发,内部映射到 reasoning_effort 参数:

后缀reasoning_effort
/think (低)low
/think (中)medium
/think (高)high

示例:

model: groq/deepseek-r1-distill-llama-70b/think

音频转录

使用 Whisper 模型进行语音转文字,通过 tools.media.audio 配置:

tools:
  media:
    audio:
      provider: groq
      model: whisper-large-v3-turbo

相关链接

  • providers - 所有 Provider 概览
  • models - 模型配置说明
  • docs/tools/media - 媒体工具配置