Google 提出睡眠框架，助大模型持续学习不遗忘
Google Research 提出“睡眠框架”，在持续学习中增加离线睡眠阶段，让大语言模型把短期上下文巩固为长期参数，缓解灾难性遗忘。
模型在主动交互与离线巩固间周期切换，在 1000 万 token 长上下文、持续翻译、数学推理等测试中超过 GPT-4、SFT 等基线。
Google Research
科技圈· 茶馆 · 投稿
Google 提出睡眠框架，助大模型持续学习不遗忘
Google 提出睡眠框架，助大模型持续学习不遗忘
Google Research 提出“睡眠框架”，在持续学习中增加离线睡眠阶段，让大语言模型把短期上下文巩固为长期参数，缓解灾难性遗忘。
模型在主动交互与离线巩固间周期切换，在 1000 万 token 长上下文、持续翻译、数学推理等测试中超过 GPT-4、SFT 等基线。
Google Research
科技圈· 茶馆 · 投稿
您是本站第118964名访客 今日有31篇新文章/评论
0 评论