Groq Cloud
超低延迟推理,OpenAI 兼容
Groq 的推理接口,用 LPU 跑开源模型,返回低延迟的对话结果。
Groq Cloud 是 Groq 通过 console.groq.com 开放的推理接口。开发者申请 API Key 后,用兼容 OpenAI 的 HTTP 请求或 SDK 调用,无需自己部署。
主要能力
- 对话补全:接口兼容 OpenAI 的 /chat/completions,改 base URL 即可迁移。
- 低延迟推理:用自研 LPU 跑开源模型,输出速度和首字延迟明显低于常见 GPU 服务。
- 语音转写:提供 Whisper 系列模型的托管推理。
- 流式输出:支持 SSE,适合实时字幕和语音对话。
- 模型列表:通过 /models 查询当前可用模型。
特点
- 只跑开放权重模型,模型选择比聚合平台少。
- 免费档按模型分别限 RPM、RPD、TPM,超出返回 429。
- 适合对速度敏感的场景,不适合需要闭源前沿模型的任务。
典型使用场景:实时聊天、语音助手、批量摘要、低延迟 agent。
适合:实时语音助手、聊天和需要快响应的场景。
基本信息
- 认证
- 需要 API Key
- 免费额度
- 免费档,限速
- 额度来源
- 人工核实
- 商用限制
- 以官网为准
- 状态
- 需要 Key
- 最后检测时间
- 2026-11-18
- 分类
- AI 与大模型
常见问题
- Groq API 免费吗?
- 有免费档,按模型分别限 RPM、RPD 和 TPM,具体数字在 console.groq.com/docs/rate-limits;超出返回 429,响应头带重置时间。
- Groq API 怎么接到现有代码?
- 它兼容 OpenAI:base_url 换成 https://api.groq.com/openai/v1,Key 放 Authorization,模型名以 /v1/models 返回为准。