Qwen 开源 Qwen3.8-Flash-Next，提前预览 Qwen4 架构
8 月 26 日，阿里巴巴 Qwen 团队正式发布并开放 Qwen3.8-Flash-Next 权重。这是一款多模态 MoE 模型，同时也是下一代 Qwen4 架构的早期预览版本，其定位类似此前 Qwen3-Next 对 Qwen3.5 架构的提前验证。
Qwen3.8-Flash-Next 主体规模为 125B 参数，每个 Token 激活约 6B 参数，另包含约 51B 参数的 N-gram Embedding。模型原生支持 262,144 Token 上下文，并可通过 YaRN 扩展至 100 万 Token。模型同时配备视觉编码器，可处理文本、图像和视频输入。
架构方面，Qwen 将此前的 Gated DeltaNet + Gated Attention 进一步调整为 Gated DeltaNet + Qwen Sparse Attention（QSA），通过微块级稀疏选择降低长上下文注意力开销。同时加入 Gated Residual、N-gram Embedding，并重新调整 Muon 与 AdamW 的训练方案。Qwen 称，相比 Qwen3.7-Plus，该模型训练成本约为其 1/9，同时在代码和办公 Agent 任务上取得更高成绩。
官方评测中，Qwen3.8-Flash-Next 在 SWE-bench Pro 获得 62.5，在 SWE-bench Multilingual 获得 81.0，CoWorkBench 为 73.9，GPQA Diamond 为 91.7。相关数据主要反映 Qwen 自有评测配置下的结果，仍有待更多独立测试验证。
目前 Qwen3.8-Flash-Next 与 FP8 权重均已开放，可通过 Hugging Face 和 ModelScope 获取。QwenCloud 还将提供生产版本 Qwen3.8-Flash，默认支持 100 万 Token 上下文及官方内置工具，官方公布价格为每百万输入 Token 0.16 美元、输出 Token 0.47 美元，API 尚待上线。
拥抱脸
0 评论