Перейти к содержанию
ERITKOM
БезопасностьРазбор

Verified bots будут оценивать по поведению после подтверждения личности

16 октября Cloudflare представила непрерывную оценку соблюдения правил сайта. Криптографическая идентификация оператора остаётся отдельной задачей: подписанный запрос ещё не доказывает, что робот уважает ограничения нагрузки.

Официальная иллюстрация Cloudflare к оценке поведения проверенных ботов
Cloudflare

Известный оператор и приемлемое поведение не совпадают

Система Verified bots подтверждает происхождение автоматического клиента. В октябрьском обновлении Cloudflare добавляет наблюдение за тем, как такой клиент действует со временем. Компания называет два исходных направления: соблюдение опубликованных инструкций и реакцию на прямую обратную связь сайта. Идея состоит в объяснимом диапазоне доверия, основанном на повторяющемся поведении. Одиночная ошибка и систематическое игнорирование ограничений рассматриваются по-разному. Это оценка наблюдаемого трафика, а не окончательный юридический или моральный вердикт об операторе.

Подпись запроса отвечает на более узкий вопрос

Web Bot Auth использует подписи HTTP-сообщений и опубликованные публичные ключи. Документация Cloudflare описывает регистрацию и проверку идентичности автоматического клиента; BotBase хранит каталог таких участников. Подпись помогает установить, что запрос связан с известным ключом, но не сообщает, допустимо ли читать конкретный ресурс. Также ключ может быть связан с программой, в которой ошибочно настроена интенсивность обхода. Поэтому идентификация и оценка поведения остаются разными уровнями, даже когда обе доступны в одной системе управления ботами.

HTTP-подпись подтверждается публичным ключом, который опубликован в каталоге оператора. Частный ключ при этом не передаётся сайту. Смена ключей и каталог известных участников относятся к поддержанию идентичности, тогда как наблюдение robots.txt и реакции на 429 относятся к поведению. Ошибка в одном уровне не обязана проявляться в другом: запрос может быть корректно подписан, но повторять недопустимую частоту. Именно поэтому новая модель не сводит доверие к единственному двоичному флагу «проверенный» и использует накопленный диапазон оценки.

Robots.txt остаётся опубликованной инструкцией

RFC 9309 определяет Robots Exclusion Protocol. Владелец сайта публикует правила для автоматических клиентов, а корректный робот применяет их при выборе ресурсов. Файл не является механизмом авторизации и не делает защищёнными перечисленные адреса. В октябрьском материале Cloudflare рассматривает соблюдение robots.txt как наблюдаемый сигнал во времени. Отсутствие запрета в этом файле также не означает безусловного разрешения на любые действия: у сервиса могут быть другие способы сообщить ограничения, а у ресурса — собственные условия доступа.

Ответ 429 тоже сообщает о состоянии сервиса

Разрешённые адреса можно обходить с неприемлемой интенсивностью. Поэтому новая оценка учитывает, уменьшает ли клиент поток после HTTP 429. Для оператора сайта это позволяет различать ошибочную одноразовую нагрузку и устойчивое игнорирование обратной связи. Сама частота ответов 429 не даёт полной картины: она зависит от выбранных порогов, возможностей сервера и маршрута запросов. Поэтому объяснимость оценки важна не меньше числа. Поставщик говорит о наблюдаемых признаках и их накоплении, а не о безошибочном определении намерений.

Каталог идентичностей и будущая публичная оценка

BotBase каталогизирует известных автоматических клиентов, а Web Bot Auth связывает запрос с ключом зарегистрированного оператора. Поведенческая оценка добавляет временное измерение: соблюдение ограничений складывается из наблюдаемых действий, а не устанавливается навсегда в день регистрации. В публикации публичное отображение таких оценок через Radar описано как последующий шаг. Сама криптографическая подпись не содержит разрешения сайта на неограниченную нагрузку, а robots.txt не становится средством закрытия конфиденциальных адресов. Эти механизмы отвечают на разные вопросы — происхождение запроса, предпочтения владельца ресурса и реакцию клиента на обратную связь. Повторяющиеся нарушения отличаются от единичного сбоя именно накопленным контекстом.

Источники

Принципы журнала и исправления.

ERITKOM / НОВЫЙ ПРОЕКТ

Расскажите о задаче и оставьте контакты. Мы свяжемся с вами, чтобы обсудить проект.

  1. 01 Контакты
  2. 02 Ваша задача