Ai2 发布 FairStress 基准,评测大模型决策中的隐藏公平性不对称
Ai2 发布 FairStress 基准,用 300 个双候选决策场景扩展为超 1300 万测试用例,测试模型在被挑战时是否因人口群体身份而改变决定。实验发现模型更易放弃有利于多数编码候选的正确选择,15 个模型的平均差距为 6.9 至 9.3 个百分点;对抗前缀下转向少数编码候选的切换比反向多 8.8 至 42.4 个百分点。
Ai2 发布 FairStress 基准,用 300 个双候选决策场景扩展为超 1300 万测试用例,测试模型在被挑战时是否因人口群体身份而改变决定。实验发现模型更易放弃有利于多数编码候选的正确选择,15 个模型的平均差距为 6.9 至 9.3 个百分点;对抗前缀下转向少数编码候选的切换比反向多 8.8 至 42.4 个百分点。
GitHub 推出开源离线基准 ReviewBench,用于评估 AI 代码审查智能体。基准基于 103.9M GitHub pull request 分析构建,语料涵盖 19 种语言的 219 个公开 pull request,采用人工审查者、frontier LLM 和静态分析构成的多源 golden set,并由资深工程师独立验证,达成 96.6% 一致性。