Hugging Face Blog·· 2 天前AI 评分58
Ai2 发布 FairStress 基准,评测大模型决策中的隐藏公平性不对称
FairStress: A deeper evaluation of fairness in LLM decision-making
AI 导读
Ai2 发布 FairStress 基准,用 300 个双候选决策场景扩展为超 1300 万测试用例,测试模型在被挑战时是否因人口群体身份而改变决定。实验发现模型更易放弃有利于多数编码候选的正确选择,15 个模型的平均差距为 6.9 至 9.3 个百分点;对抗前缀下转向少数编码候选的切换比反向多 8.8 至 42.4 个百分点。
来源:Hugging Face Blog · huggingface.co