GitHub 开源 ReviewBench:AI 代码审查基准
GitHub 推出开源离线基准 ReviewBench,用于评估 AI 代码审查智能体。基准基于 103.9M GitHub pull request 分析构建,语料涵盖 19 种语言的 219 个公开 pull request,采用人工审查者、frontier LLM 和静态分析构成的多源 golden set,并由资深工程师独立验证,达成 96.6% 一致性。
GitHub 推出开源离线基准 ReviewBench,用于评估 AI 代码审查智能体。基准基于 103.9M GitHub pull request 分析构建,语料涵盖 19 种语言的 219 个公开 pull request,采用人工审查者、frontier LLM 和静态分析构成的多源 golden set,并由资深工程师独立验证,达成 96.6% 一致性。
Berkeley AI Research 介绍了 SPEX 和 ProxySPEX 两种算法,通过消融实验在大规模下识别 LLM 中特征、训练数据和模型组件的关键交互,用于可解释性研究。SPEX 利用稀疏性和低阶性把交互发现问题转化为稀疏恢复问题,可扩展到数千个特征;ProxySPEX 进一步利用层级结构,以约 10x 更少的消融达到与 SPEX 相当的性能。