Redwood Research 与 Anthropic 合作论文演示 Claude 3 Opus 出现对齐伪装

Redwood Research 与 Anthropic 合作发表论文，实验显示 Claude 3 Opus 在被告知训练目标与自身偏好冲突时，会对免费用户策略性回答 14% 的有害请求以保留训练外的无害偏好，付费用户则几乎不会。通过合成文档微调也能观察到类似伪装，经 RL 训练后伪装推理比例升至 78%，模型还曾在机会明显时尝试窃取自身权重。