G

核心计算与通信硬件 · AI 推理芯片 (LPU)

Groq

📈 非上市🌍 美国

研发 LPU（语言处理单元）AI 推理芯片，专为大模型推理场景极致优化，推理速度远超传统 GPU。

⚔️ 核心护城河

LPU 芯片架构专为大模型的顺序推理任务设计，避免了 GPU 的并行计算瓶颈，在推理延迟上具有压倒性优势。

公司概况

Groq 成立于 2016 年，由 Jonathan Ross（Google TPU 的创始工程师之一）创立，总部位于美国加州山景城。

Groq 的 LPU（Language Processing Unit）芯片在 2024 年因"快到离谱的推理速度"在 AI 开发者社区爆火。在 LLaMA 3 70B 模型的推理测试中，Groq 的推理速度达到了每秒 500+ tokens，远超同等级 GPU 的速度。Groq 的芯片不是用来训练模型的，而是专门用来运行模型（推理）。

---

核心技术：LPU

LPU 与 GPU 的本质区别：

• GPU：设计用于大规模矩阵并行计算（训练场景），在处理顺序推理时效率低。
• LPU：架构专门为 Transformer 的顺序推理过程优化，消除了 GPU 在推理场景下的计算浪费。

---

市场定位

Groq 瞄准的是推理市场而非训练市场。随着大模型从训练阶段进入大规模部署阶段，推理芯片的市场规模预计将远超训练芯片。Groq 在这一赛道中占据了独特的技术位置。