Groq Cloud

超低延迟推理,OpenAI 兼容

Groq 的推理接口,用 LPU 跑开源模型,返回低延迟的对话结果。

Groq Cloud 是 Groq 通过 console.groq.com 开放的推理接口。开发者申请 API Key 后,用兼容 OpenAI 的 HTTP 请求或 SDK 调用,无需自己部署。

主要能力

  • 对话补全:接口兼容 OpenAI 的 /chat/completions,改 base URL 即可迁移。
  • 低延迟推理:用自研 LPU 跑开源模型,输出速度和首字延迟明显低于常见 GPU 服务。
  • 语音转写:提供 Whisper 系列模型的托管推理。
  • 流式输出:支持 SSE,适合实时字幕和语音对话。
  • 模型列表:通过 /models 查询当前可用模型。

特点

  • 只跑开放权重模型,模型选择比聚合平台少。
  • 免费档按模型分别限 RPM、RPD、TPM,超出返回 429。
  • 适合对速度敏感的场景,不适合需要闭源前沿模型的任务。

典型使用场景:实时聊天、语音助手、批量摘要、低延迟 agent。

适合:实时语音助手、聊天和需要快响应的场景。

  • 密钥
  • 免费额度
  • 模型

基本信息

认证
需要 API Key
免费额度
免费档,限速
额度来源
人工核实
商用限制
以官网为准
状态
需要 Key
最后检测时间
2026-11-18
分类
AI 与大模型

常见问题

Groq API 免费吗?
有免费档,按模型分别限 RPM、RPD 和 TPM,具体数字在 console.groq.com/docs/rate-limits;超出返回 429,响应头带重置时间。
Groq API 怎么接到现有代码?
它兼容 OpenAI:base_url 换成 https://api.groq.com/openai/v1,Key 放 Authorization,模型名以 /v1/models 返回为准。