DeepSeek 开源内部推理框架 DeepInfer
10 月 20 日，DeepSeek 宣布开源其内部推理框架 DeepInfer，以及配套的 Token 编解码组件 deepseek-recipe。
DeepInfer 已用于 DeepSeek V4.1 Flash 的大规模推理服务，支持分布式推理、推测解码和结构化输出，兼容英伟达 GPU 与华为昇腾平台。
此次开源主要面向模型部署和推理效率优化。不过，目前公开版本主要提供离线推理能力，完整线上服务所需的部分基础设施尚未包含在内。
来源
0 评论