Ai2 发布 FairStress 基准,评测大模型决策中的隐藏公平性不对称
Ai2 发布 FairStress 基准,用 300 个双候选决策场景扩展为超 1300 万测试用例,测试模型在被挑战时是否因人口群体身份而改变决定。实验发现模型更易放弃有利于多数编码候选的正确选择,15 个模型的平均差距为 6.9 至 9.3 个百分点;对抗前缀下转向少数编码候选的切换比反向多 8.8 至 42.4 个百分点。
Ai2 发布 FairStress 基准,用 300 个双候选决策场景扩展为超 1300 万测试用例,测试模型在被挑战时是否因人口群体身份而改变决定。实验发现模型更易放弃有利于多数编码候选的正确选择,15 个模型的平均差距为 6.9 至 9.3 个百分点;对抗前缀下转向少数编码候选的切换比反向多 8.8 至 42.4 个百分点。
Mistral 发布首个时间序列基础模型家族 Timestral,参数规模 5M 到 209M,其 209M 模型在 GIFT-Eval、TIME 和 fev-bench 三项公开基准上排名第一,成绩已提交排行榜。
Google DeepMind 发布 Gemini 4 Argon 模型,聚焦编码、金融、法律、网络安全和科学等复杂任务,并开始广泛开放,同时扩大 Fairwind Program 供可信网络防御者优先使用。
推荐理由:原文详解 Gemini 4 Argon 的安全防护体系,读者可以据此了解前沿模型在防滥用、对齐监控和提示注入防御上的具体做法。
Microsoft Research 播客中,Chad Atalla 与 partner research manager Jennifer Neville 对谈,讨论评估如何推动 AI 系统满足真实用户需求,以及超出传统基准时出现的意外失败。
GitHub 推出开源离线基准 ReviewBench,用于评估 AI 代码审查智能体。基准基于 103.9M GitHub pull request 分析构建,语料涵盖 19 种语言的 219 个公开 pull request,采用人工审查者、frontier LLM 和静态分析构成的多源 golden set,并由资深工程师独立验证,达成 96.6% 一致性。