Elorian 与 Mercor 发布视觉推理基准 DecoyCount

Elorian 与 AI 数据公司 Mercor 联合发布视觉推理基准 DecoyCount，用于测试语言模型是真正数物体，还是依赖视觉捷径和替代启发式方法。基准论文公布了六个前沿模型的测试结果，每个模型均在其报告设置下三次运行取平均值。 Elorian 的新视觉模型 Glimpse 未出现在论文中。Elorian 的 Dai 称，Glimpse 在内部测试中得分 50.48%，结果是单次独立运行、未使用 agent 或工具框架；他还称评测图像和文本未纳入其训练数据，污染检查未发现训练数据重合。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。