发生了什么
11 月 17 日,Cerebras 宣布其「分离式推理」(disaggregated inference)已进入生产环境。做法是把一次推理请求拆成两个物理分离的阶段:提示处理(prefill)交给 GPU,逐词生成(decode)留在 Cerebras 的晶圆级系统。生产部署中具体是 AMD Instinct GPU 负责 prefill,CS-3 系统负责 decode。
拆分的依据是两类负载的资源结构相反。prefill 是计算密集型,一次处理整段输入,GPU 的通用算力正好合适;decode 是自回归的,每生成一个词元都要重新读一遍模型数据,瓶颈在内存带宽。Cerebras 的论点是自己在这端有结构性优势:晶圆级芯片把数十 GB 的 SRAM 与数十 PB/s 的带宽放在片上,官方称相当于典型 GB300 GPU 的 350 倍 SRAM 容量与 5400 倍内存带宽。
- 核心数字:相较纯 CS-3 配置,每兆瓦词元吞吐提升 5 倍,生成速度不降
- 测点:11 月 14 日,Cerebras 推理云上的 GPT-OSS-120B 共享端点,对比启用前后并归一化到原基线
- 早期访问伙伴:AWS、Fireworks AI、Gimlet Labs、General Compute
- 扩展目标:2027 年底前在自有云与伙伴部署中覆盖数百兆瓦;同期还有 CS-4 发布、产能扩张与 700 兆瓦数据中心计划
交付形态:一套整栈,或只用解码端
面向基础设施伙伴,Cerebras 给了两条路径。一是端到端软件栈,四个部件:分离式推理框架(在 prefill 池与 decode 池之间路由请求、管理副本容量与健康度)、基于 vLLM 或 SGLang 的 prefill 引擎、Cerebras 解码引擎、以及通过 RDMA 传递中间状态与 KV 缓存的 KV Portal。二是只用解码端:伙伴自带推理框架与 prefill 引擎,接入 Cerebras 解码引擎与 KV Portal,官方提供模拟解码副本与参考集成。
该信到哪一步
需要说清的限定有三条。其一,5 倍是单一模型、单一共享端点、单日测点的结果,厂商未披露重复次数与置信区间,也无第三方复现。其二,指标是「每兆瓦词元吞吐」,分母取决于伙伴选用哪种 prefill 加速器,更换 GPU 型号后同一架构的倍数会变;AMD 具体型号官方未点名。其三,跨机传递 KV 缓存本身有开销,官方给出了 5 倍与「速度不降」的结论,但没有给首词元延迟与 P99 的对比数字。
对采购方的现实意义在电力而不是芯片。推理需求在 2026 年被官方引用为增长 24 倍,而数据中心容量只增 2.2 倍(来源为高盛研究),在功率受限的机房里,每兆瓦能出多少词元正在取代每卡能跑多少词元,成为扩容时的第一道算式。这也是把「同一台机器同时干两件相反的事」改成「两件相反的事各用最合适的机器」的直接动机。

