Перейти к содержанию
ERITKOM
БезопасностьНовость

CWE-bench v2 открыл 100 задач для проверки того, как ИИ исправляет уязвимости

Collinear AI расширила проверку защитных coding-агентов и опубликовала воспроизводимый набор. Публичные задачи и закрытая выборка имеют разный состав — их результаты нельзя смешивать в один рейтинг.

Серверная CERN на фотографии 2009 года; тематическая иллюстрация вычислительной инфраструктуры, не оборудование CWE-bench
Florian Hirzinger, CERN Server 03, 25.02.2009, CC BY-SA 3.0. Тематическое фото, не инфраструктура Collinear AI; изменены размер и JPEG→WebP.

Набор для исправления, а не только поиска ошибки

3 ноября Collinear AI представила CWE-bench v2 в публикации на Hugging Face. Публичный набор содержит 100 задач, охватывающих 91 тип слабостей по классификации CWE. Агент получает реальный открытый репозиторий и короткое поручение: найти и исправить проблему безопасности, сохранив существующее поведение программы.

Оценка строится на программных проверках, а не только на убедительности объяснения. В описании подготовки задач отдельно названы проверки исходного состояния, эталонного исправления и сохранения основной функциональности. Такой подход различает правдоподобный текст отчёта и изменение кода, которое действительно проходит заданные условия. Авторы также сообщают о ручном просмотре задач: автоматический проверяющий сам по себе не снимает вопрос о корректности постановки.

Публичная и закрытая части не равны

На сайте проекта описаны две выборки: 100 публичных и ещё 150 закрытых задач. В совокупности они охватывают 185 различных CWE; количество классов двух частей нельзя просто сложить, поскольку часть пересекается. Закрытый набор нужен для наблюдения за задачами, которых модель не видела при работе с опубликованными материалами.

У публичной и общей таблиц различаются состав и результаты. Поэтому цифру из сообщения о публичной сотне нельзя подписывать как итог по всем 250 задачам. На сайте также фиксируются модель, используемая агентская оболочка и число попыток. Это не рейтинг одной только языковой модели в отрыве от способа запуска: агенту нужно исследовать проект, внести изменения и уложиться в правила конкретного прогона.

Состав CWE-bench v2 по описанию проекта
ЧастьЗадачиРазличные CWE
Публичная 100 91
Закрытая 150 126
Объединённая 250 185, с учётом пересечений

Источник: официальная документация

Что означает воспроизводимый запуск

Документация Harbor описывает среду, в которой можно запускать разных агентов на заданиях в изолированных окружениях. Задание и проверяющий компонент оформляются отдельно от выбранной модели. Такая организация позволяет сохранять условия проверки и менять участника испытания, не переписывая сам тест под каждый ответ.

В анонсе CWE-bench используется именно формат Harbor: задача включает окружение, инструкцию и детерминированную проверку результата. Открытость такого формата не означает отсутствия требований доступа. На странице набора требуется принять условия получения данных, а использование внешней модели зависит от её собственного API. Мы не скачивали закрытые задачи и не запускали платные модели; приведённые сведения относятся к опубликованному устройству теста, а не к нашему независимому испытанию.

Как читать результаты без ложного вывода

Сайт проекта разделяет причины неудач на ошибки поиска нужного участка, распознавания проблемы и восстановления требуемого свойства безопасности. Есть и неполное исправление: агент может устранить часть слабостей, оставив остальные. Это объясняет, почему наличие изменённых файлов не равно успешному завершению защитного аудита.

Число попыток тоже меняет смысл показателя: успех с первого запуска и успех хотя бы одной из нескольких попыток отвечают на разные вопросы. При сравнении нужны одинаковые выборка, оболочка и бюджет попыток. В планах команды — обновляемая закрытая часть и многошаговые проверки; на странице они отделены от уже опубликованного набора. Полные таблицы остаются в первоисточниках, поскольку перенос отдельного процента без этих условий создаёт неверное впечатление о надёжности агента на любом рабочем проекте.

Источники

Принципы журнала и исправления.

ERITKOM / НОВЫЙ ПРОЕКТ

Расскажите о задаче и оставьте контакты. Мы свяжемся с вами, чтобы обсудить проект.

  1. 01 Контакты
  2. 02 Ваша задача