«90%+ на SWE-bench» — это маркетинг. Реальность ближе к 60%.
Индустрия тихо переезжает с SWE-bench Verified на SWE-bench Pro. Причина: Verified насытился — frontier-модели буквально «вспоминают» эталонные патчи из обучения, OpenAI вообще перестала по нему отчитываться.
На честном Pro лидеры держатся в районе 59–69%, а не рекламных 95%.
Вывод тимлиду: когда вендор машет цифрой «95% на SWE-bench» — спроси, на каком именно. Ереси в бенчмарках больше, чем кажется.