Перейти к содержанию
ERITKOM
ИИНовость

Anthropic предложила проверять не только безопасность модели, но и качество самого испытания

Рекомендации от 13 ноября связывают проверяемую гипотезу, оценщика ответов и воспроизводимую среду. Inspect и Petri показывают, как устроен технический слой таких проверок.

Архивная фотография ноутбука с программным кодом: тематическая иллюстрация испытаний программ, не интерфейс Anthropic, Inspect или Petri
Negative Space, ноутбук с программным кодом, CC0 1.0. Архивная тематическая фотография, не интерфейс или результат испытаний Anthropic, Inspect либо Petri. Изменены размер и JPEG→WebP.

Новая рекомендация — не новый рейтинг моделей

Anthropic 13 ноября опубликовала руководство по построению испытаний безопасности ИИ. Оно посвящено достоверности измерения, а не выпуску новой модели или объявлению универсального победителя. Проверка должна отвечать на определённый вопрос о поведении: уменьшает ли ответ вероятность вреда в заданной ситуации. Успешное решение задачи и допустимый способ её решения здесь не одно и то же.

Авторы предлагают заранее определить измеряемое свойство, сопоставить автоматического оценщика с независимыми человеческими разметками и показывать неопределённость результата. Если люди согласны между собой, а программа расходится с ними, пересмотра требует прежде всего критерий оценки. Общий балл без описания среды не позволяет отделить изменение модели от изменения условий испытания.

Inspect разделяет задание, выполнение и оценивание

В документации открытого фреймворка Inspect испытание представлено тремя отдельными составляющими. Набор данных содержит входные задания и ожидаемые ответы либо правила разметки. Solver получает результат от модели: это может быть один запрос или агент с инструментами и несколькими ходами. Scorer проверяет получившийся ответ по заданному правилу.

Такое разделение позволяет менять конкретный элемент, не переписывая весь сценарий. Например, тот же набор задач можно использовать с другим способом оценивания, а проверку результата — с другим исполнителем. Это техническая возможность сравнения, а не автоматическая гарантия его корректности. Фреймворк также предоставляет просмотр журналов: исследователь может изучить отдельный диалог, а не ограничиваться итоговой таблицей, скрывающей различия между похожими заданиями.

Контейнер не изолирует весь процесс испытания

Справочник Inspect отдельно предупреждает о границе песочницы. Код инструментов, агентов и оценщиков продолжает работать в процессе самого испытания. Только операции, направленные через интерфейс sandbox, исполняются внутри изолированной среды. Само наличие контейнера поэтому не доказывает, что любая пользовательская функция потеряла доступ к сети или файлам ведущей машины.

Автоматически создаваемая Docker-конфигурация отключает сеть контейнера. Собственный Compose заменяет эту конфигурацию, а не дополняет её: отключение сети нужно указать явно. И даже тогда ограничение относится к контейнерным процессам, а не к обращению ведущего процесса к поставщику модели. Для проверки агента, который запускает команды или обрабатывает файлы, это существенная часть описания эксперимента, а не второстепенная деталь установки.

Petri автоматизирует диалог, но не заменяет разбор

Другой инструмент, Petri, проверяет поведение через многоходовые разговоры с имитируемыми пользователями и инструментами. Исследователь задаёт гипотезу и начальную ситуацию; автоматический аудитор развивает взаимодействие с целевой системой, после чего отдельный этап оценивает и описывает её действия. Таким способом можно искать проблемы, которые не проявляются в ответе на один изолированный вопрос.

Petri не является новинкой ноябрьского руководства: исходная публикация датирована октябрём 2025 года. В ней сами разработчики называют ранние результаты предварительными и отмечают ограничения автоматических аудиторов. Особенно полезными они считают сочетание числовых показателей с чтением конкретных стенограмм. Поэтому обнаруженный подозрительный эпизод служит основанием для дальнейшего исследования, а низкий усреднённый показатель не превращается в доказательство отсутствия всех возможных опасных сценариев.

Источники

Принципы журнала и исправления.

ERITKOM / НОВЫЙ ПРОЕКТ

Расскажите о задаче и оставьте контакты. Мы свяжемся с вами, чтобы обсудить проект.

  1. 01 Контакты
  2. 02 Ваша задача