DeepSeek开源高性能大规模推理框架DeepInfer
DeepSeek发布开源高性能大规模推理框架DeepInfer，旨在提供大规模生产服务。该框架支持离线推理，并具备大规模部署所需的核心功能。使用前需配置Python 3.12环境。默认检查点为DeepSeek-V4.1-Flash-1017，可通过Hugging Face缓存加载或指定本地路径。该项目在Apache License 2.0下发布，其架构参考了vLLM、SGLang及TensorRT-LLM等项目。
基于该框架，DeepSeek已实现了DeepSeek V4.1 Flash的高吞吐、低延迟大规模推理服务。此外，DeepSeek承诺未来新模型的推理代码及后续优化也将持续通过该框架进行开源。
—— DeepSeek GitHub , 36氪
0 评论