更巧的是，同一周，宾大团队的独立审计报告和Anthropic的Mythos Preview系统卡同时出炉，三条线指向同一个结论：这些评测基准，从设计到执行，到处是漏洞。

AI评测领域近日掀起轩然大波，多个主流基准测试的可靠性遭到严重质疑。伯克利大学研究团队通过开发自动化漏洞扫描工具，成功攻破八大权威评测体系，其中SWE-bench编程基准更被10行Python代码轻松破解，500道测试题全部获得满分却未修复任何真实漏洞。 该团队揭示的作弊手段令人震惊：在SWE-bench测试中，研究人员通过提交包含conftest.py文件的代码包，利用pytest框架的钩子机制 ...