字节 Seed 团队发现 DeepSeek“抽风”原因，长上下文可能性能漂移
该研究评估了基础版和后训练版的 DeepSeek-V4-Flash 和 DeepSeek-V4-Pro，以及后训练后的 DeepSeek-V4.1-Flash。
模型通过分块 KV 缓存压缩以固定步幅将连续标记的窗口压缩为更少的缓存条目，能够减少长上下文推理的内存和注意力成本。
然而，这种压缩还引入了一个新的位置坐标：Token 的相位，或其相对于压缩窗口边界的位置。
该团队发现使用这种压缩的模型中存在系统性不对称性：相同的信息在一个阶段很容易检索，但在另一个阶段很难检索。团队将这种检索性能的周期性变化称为相位敏感性（phase sensitivity）。
来源：IT之家
0 评论