CWE-bench v2 открыл 100 задач для проверки того, как ИИ исправляет уязвимости
Collinear AI расширила проверку защитных coding-агентов и опубликовала воспроизводимый набор. Публичные задачи и закрытая выборка имеют разный состав — их результаты нельзя смешивать в один рейтинг.

Набор для исправления, а не только поиска ошибки
3 ноября Collinear AI представила CWE-bench v2 в публикации на Hugging Face. Публичный набор содержит 100 задач, охватывающих 91 тип слабостей по классификации CWE. Агент получает реальный открытый репозиторий и короткое поручение: найти и исправить проблему безопасности, сохранив существующее поведение программы.
Оценка строится на программных проверках, а не только на убедительности объяснения. В описании подготовки задач отдельно названы проверки исходного состояния, эталонного исправления и сохранения основной функциональности. Такой подход различает правдоподобный текст отчёта и изменение кода, которое действительно проходит заданные условия. Авторы также сообщают о ручном просмотре задач: автоматический проверяющий сам по себе не снимает вопрос о корректности постановки.
Публичная и закрытая части не равны
На сайте проекта описаны две выборки: 100 публичных и ещё 150 закрытых задач. В совокупности они охватывают 185 различных CWE; количество классов двух частей нельзя просто сложить, поскольку часть пересекается. Закрытый набор нужен для наблюдения за задачами, которых модель не видела при работе с опубликованными материалами.
У публичной и общей таблиц различаются состав и результаты. Поэтому цифру из сообщения о публичной сотне нельзя подписывать как итог по всем 250 задачам. На сайте также фиксируются модель, используемая агентская оболочка и число попыток. Это не рейтинг одной только языковой модели в отрыве от способа запуска: агенту нужно исследовать проект, внести изменения и уложиться в правила конкретного прогона.
| Часть | Задачи | Различные CWE |
|---|---|---|
| Публичная | 100 | 91 |
| Закрытая | 150 | 126 |
| Объединённая | 250 | 185, с учётом пересечений |
Источник: официальная документация
Что означает воспроизводимый запуск
Документация Harbor описывает среду, в которой можно запускать разных агентов на заданиях в изолированных окружениях. Задание и проверяющий компонент оформляются отдельно от выбранной модели. Такая организация позволяет сохранять условия проверки и менять участника испытания, не переписывая сам тест под каждый ответ.
В анонсе CWE-bench используется именно формат Harbor: задача включает окружение, инструкцию и детерминированную проверку результата. Открытость такого формата не означает отсутствия требований доступа. На странице набора требуется принять условия получения данных, а использование внешней модели зависит от её собственного API. Мы не скачивали закрытые задачи и не запускали платные модели; приведённые сведения относятся к опубликованному устройству теста, а не к нашему независимому испытанию.
Как читать результаты без ложного вывода
Сайт проекта разделяет причины неудач на ошибки поиска нужного участка, распознавания проблемы и восстановления требуемого свойства безопасности. Есть и неполное исправление: агент может устранить часть слабостей, оставив остальные. Это объясняет, почему наличие изменённых файлов не равно успешному завершению защитного аудита.
Число попыток тоже меняет смысл показателя: успех с первого запуска и успех хотя бы одной из нескольких попыток отвечают на разные вопросы. При сравнении нужны одинаковые выборка, оболочка и бюджет попыток. В планах команды — обновляемая закрытая часть и многошаговые проверки; на странице они отделены от уже опубликованного набора. Полные таблицы остаются в первоисточниках, поскольку перенос отдельного процента без этих условий создаёт неверное впечатление о надёжности агента на любом рабочем проекте.


