Berkeley AI Research 讲解 SPEX 与 ProxySPEX 如何在大规模下识别 LLM 的交互作用

Berkeley AI Research 介绍了 SPEX 和 ProxySPEX 两种算法，通过消融实验在大规模下识别 LLM 中特征、训练数据和模型组件的关键交互，用于可解释性研究。SPEX 利用稀疏性和低阶性把交互发现问题转化为稀疏恢复问题，可扩展到数千个特征；ProxySPEX 进一步利用层级结构，以约 10x 更少的消融达到与 SPEX 相当的性能。