What happened
A new analysis from OpenAI reveals issues in SWE-Bench Pro, a popular coding benchmark, raising concerns about reliability and accuracy in evaluating AI models.
Analysis and impact
SWE-Bench Pro 是 SWE-Bench 系列基准的进阶版本，旨在通过真实 GitHub 仓库中的软件工程任务来测试 AI 模型的代码修复与生成能力。OpenAI 的分析发现，该基准在任务筛选、评分一致性以及难度校准等方面存在偏差，可能导致模型得分无法真实反映其编码水平。具体而言，部分任务的“可解性”本身存疑——即某些问题即使是人类工程师也难以在给定约束下完成，而另一些任务则可能因测试用例覆盖不足而让模型“蒙对”答案。这种噪声使得排行榜上的分数波动难以归因于模型能力的真实变化。
这一发现并非孤例。近年来，AI 评测基准的“饱和”与“失真”问题持续受到关注：当模型在某个基准上表现趋近满分时，该基准的区分度便急剧下降；而若基准本身存在标注错误或评估漏洞，高分反而会掩盖模型的短板。OpenAI 此次主动公开对自家常用评测工具的质疑，某种程度上反映了行业对“可复现、可信赖的评估方法”的迫切需求。对于开发者而言，这意味着在选择模型时不能仅看 SWE-Bench Pro 的单一分数，而应结合多维度评测与真实场景测试；对于企业用户，则需警惕“榜单第一”与实际落地效果之间的落差。
从更广的视角看，AI 编码能力的评估正从“能否解题”转向“能否在复杂、模糊的真实工程环境中稳定产出”。正如 OpenAI 在分析中强调的，剥离噪声、保留信号，是让评测回归其本质——衡量模型是否真正理解了问题，而非仅仅学会了应对特定测试集。原文未提供该分析的具体方法论细节与数据规模，但其提出的问题本身，已足以促使整个社区重新校准对编码模型能力的认知标尺。