
DeepSeek 开源 DeepInfer:其 API 背后的推理引擎
DeepSeek 以 Apache 2.0 许可开源了 DeepInfer——支撑其生产服务的推理框架。该版本同时支持英伟达与华为芯片,首次详细披露了这家中国实验室的大规模模型服务方案。
DeepSeek 把自己赚钱的软件开源了。10 月 20 日(周二),这家中国 AI 实验室以 Apache 2.0 许可发布了 DeepInfer——自研推理框架,也就是支撑 DeepSeek 生产 API 的同一套服务栈,当前主力模型 DeepSeek-V4.1-Flash 就跑在上面。
推理(inference),即训练好的模型如何处理请求并生成回答,是 AI 实验室把模型变成收入的环节。对外界而言,这一层一直是个黑箱:评测榜单只展示模型能做什么,却不展示服务成本能压到多低。DeepInfer 罕见地公开了前沿实验室的真实服务栈。
DeepInfer 是什么
DeepInfer 是基于 vLLM 构建的高性能推理引擎,同时吸收了 SGLang 和 TensorRT-LLM 的思路。底层堆叠了 DeepSeek 自研的计算内核——FlashMLA、DeepGEMM、DeepEP、TileKernels 和 DeepSelect,再加上五个系统级优化。
关键数字来自 DeepSeek 的部署问答文档。单个 DeepInfer 集群每天服务 155 万亿 token;DeepSeek 称按谷时电价计算,整体收入折合每 GPU 小时 38 美元——这个数字部分解释了它的 API 定价为何能压得如此之低。仓库里还公布了 DeepSeek-V4.1-Flash 在 13.1 万 token 上下文下的 Pareto 曲线,性能数据均为官方自报。
里面的工程思路
DeepInfer 的核心是一组并行与调度设计。注意力层用数据并行;混合专家(MoE)层用专家并行,并配有一个在设备间重分布专家的负载均衡器。解码阶段在超节点内跑宽专家并行(EP64 到 EP128),预填充阶段则用内存允许的最小并行度。
最有特色的功能是 DSpark,一种基于置信度调度的投机解码。小草稿模型每步提议 5 个 token,一个“置信度头”预测每个草稿 token 被接受的概率,调度器只验证最有价值的前缀,而不是全部 5 个 token。据 DeepSeek 的问答文档,这能把需要验证的草稿 token 减少约 30%,而可接受输出长度几乎不受影响。
另一项优化叫 SWA 有界重放,让重算成本与上下文长度无关:缓存命中时,DeepInfer 只重算滑动窗口注意力状态的最后 128 个 token。DeepSeek 称这在解码器层几乎让预填充总算力减半。CPU 批调度还与 GPU 执行重叠,GPU 在步骤之间永不空闲。
华为与英伟达平起平坐
该版本同时支持英伟达 SM100 GPU 和华为 Ascend 950 NPU——正如 The New Stack 指出的,在项目支持栈的表述里,华为与英伟达获得了同等地位。批不变推理和确定性采样仅限英伟达,但框架附带了覆盖华为硬件的定制 TileLang 内核。
这不只是工程问题。据报道,DeepSeek 已在内蒙古数据中心大规模部署华为 Ascend 950DT 芯片,在其旗舰服务栈里给国产芯片一等支持,释放了其算力未来的方向信号。对于一家模型价格已经碾压西方厂商的中国实验室来说,一个为非英伟达硬件调优的开源引擎带来了第二种压力:它把愿意走出 CUDA 生态的人的成本下限又往下压了一截。
配套发布与一贯策略
DeepSeek 还发布了 deepseek-recipe(MIT 许可),即它的 token 编解码层,能复刻官方 API 的 token 处理,让自建部署与官方行为保持一致。
这一动作符合 DeepSeek 一贯的策略。本月早些时候,DeepSeek 发布了权重以 MIT 许可开放的 DeepSeek-V4.1-Flash(本站曾在发布时报道)。现在它又开源了服务这套模型的机器。每一次发布都让别人更便宜、更容易地自建运行 DeepSeek 级别模型,也让坚持闭源服务栈的西方实验室的价格压力再紧一分。

