Groq 是基于 LPU(Language Processing Unit)的高速推理服务,提供 OpenAI 兼容 API。
认证
export GROQ_API_KEY=your_api_key配置文件中指定:
model: groq/llama-3.3-70b-versatile内置模型
| 模型 | 说明 |
|---|---|
llama-3.3-70b-versatile | 默认模型,通用场景 |
llama-3.1-8b-instant | 轻量快速 |
llama-4-maverick / llama-4-scout | Llama 4 系列 |
gemma2-9b | Google Gemma 2 |
mistral-saba-24b | Mistral 系列 |
kimi-k2 | Moonshot Kimi |
gpt-oss-120b / gpt-oss-20b | OpenAI OSS 系列 |
qwen-qwq-32b / qwen3-32b | Qwen 系列 |
deepseek-r1-distill-llama-70b | DeepSeek R1 蒸馏版 |
compound / compound-mini | Groq 复合模型 |
建议默认:groq/llama-3.3-70b-versatile
推理模型(Thinking)
Groq 推理模型通过 /think 后缀触发,内部映射到 reasoning_effort 参数:
| 后缀 | reasoning_effort |
|---|---|
/think (低) | low |
/think (中) | medium |
/think (高) | high |
示例:
model: groq/deepseek-r1-distill-llama-70b/think音频转录
使用 Whisper 模型进行语音转文字,通过 tools.media.audio 配置:
tools:
media:
audio:
provider: groq
model: whisper-large-v3-turbo