Ai2 发布 FairStress 公平性评测基准

Ai2（Allen Institute for AI）发布 FairStress 基准，用于评测大模型决策中因人口群体身份产生的公平性差异。基准包含 29 个领域（如招聘、医疗、借贷、教育、住房和刑事司法）的 300 个双候选决策场景，扩展为超 1300 万测试用例，测试模型在被质疑或对抗时是否因候选人的群体身份而改变决定。 Ai2 称实验发现模型更易放弃有利于多数编码候选的正确选择，15 个模型的平均差距为 6.9 至 9.3 个百分点；在对抗前缀下，转向少数编码候选的切换比例比反向多 8.8 至 42.4 个百分点。 基准已开放下载，Ai2 还基于项目反应理论选出了 5 万条子集 FairStress-Core，并将其接入其开源评测工作台 Olmo-eval。

AI 根据报道生成 · 4 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。