Google Research 提出让 LLM 持续学习的 sleep 框架

Google Research 提出 sleep 框架，一种让 LLM 在持续学习中不断将短期上下文固化为长期参数的学习范式，缓解灾难性遗忘。模型在清醒阶段处理输入存入短期记忆，在离线睡眠阶段解锁 MoE 记忆块、通过知识种子化与 GKD 加 RL 模仿学习完成记忆固化，并经做梦阶段自生成数据与 RL 精炼实现自我提升。