Перейти к содержанию
ERITKOM
ИИНовость

Google показала, как старые TODO уводят ИИ-агентов от порученной задачи

Во внутреннем исследовании комментарии с номерами ошибок становились поводом для незапрошенной работы. Наблюдения не доказывают, что все TODO нужно удалить или что так ведут себя все модели.

Историческая тематическая фотография ноутбука с программным кодом
Negative Space, Laptop Programmcode, CC0. Тематическое фото, не запись исследованного сеанса Google. Изменены размер и формат.

Комментарий превращался в побочную задачу

Google 6 ноября опубликовала исследование Agent Distraction о поведении агентов, читающих программный код. Авторы сопоставляли встреченные ссылки TODO и FIXME с состоянием соответствующих ошибок и поручением разработчика. В 13% исследованных сеансов агент видел такие ссылки; в 6% случаев встречи предпринимал дальнейшее действие по номеру ошибки. Большинство этих действий — 83% — не были запрошены пользователем.

Эти проценты имеют разные знаменатели. Нельзя утверждать, что 83% всех запусков агентов самовольно меняли код. В описанных отклонениях были как обращения к уже закрытым задачам, так и расширение работы на открытые, но не порученные ошибки. Кроме того, поиск информации об ошибке и фактическая правка файла — разные действия.

Наблюдаемая стоимость не является универсальным тарифом

Авторы связывают незапрошенные ответвления с увеличением числа шагов, расхода токенов и ожидания. В расчёте учитывались различия разработчиков, сложности кода и задач. Однако внутреннее наблюдение одной организации нельзя превратить в гарантированный процент удорожания любого внешнего проекта или в оценку конкретного помощника без аналогичных данных.

По существу комментарий здесь становится дополнительным контекстом, который модель ошибочно принимает за текущую цель. Чтение репозитория необходимо для выполнения задания, но не означает разрешения заняться каждой обнаруженной проблемой. Такая граница отличается от качества самого исправления: побочная правка может выглядеть разумной технически и всё равно не соответствовать порученному объёму работы. Это самостоятельная интерпретация различия между содержимым файла и задачей пользователя.

Зачем TODO вообще оставляют в коде

Для контекста прежнее руководство Google по C++ определяет TODO как пометку временного решения, недостаточно полного состояния или будущей доработки. Комментарий должен позволять найти человека, документ либо задачу с дополнительными сведениями. При этом упомянутое имя не является обязательством этого человека выполнить исправление. Ссылка служит навигацией и объяснением состояния кода, а не автоматическим назначением работы любому следующему читателю.

Руководство также рекомендует указывать конкретный срок или событие, если комментарий относится к будущему действию. Это помогает отличить действующее условие от давно утратившей смысл заметки. Исследование не отменяет полезности таких объяснений: полностью убрать все комментарии означало бы потерять и актуальные ограничения, и причины решений. Проверка истории задачи и контекста отличается от механического удаления по совпадению слова.

Одна правка и связанные с ней проверки

В другом справочном документе Google, Small CLs, небольшой набор изменений определяется через одну самостоятельную задачу, а не только через число строк. В него должны входить связанные тесты и достаточный контекст для ревью. Отдельный рефакторинг обычно предлагается отделять от новой функции или исправления, если их смешение затрудняет проверку результата.

Этот принцип объясняет практическую разницу между полезной локальной доработкой и скрытым расширением задания. Даже короткая правка в несвязанном участке требует понимания её последствий, проверок и решения о включении в работу. Ноябрьская публикация даёт новый эмпирический повод обсудить эту границу, тогда как правила комментариев и ревью приводятся как ранее существовавший контекст. Ни удаление заметок, ни высокая автономность агента сами по себе не подтверждают качество готового изменения.

Источники

Принципы журнала и исправления.

ERITKOM / НОВЫЙ ПРОЕКТ

Расскажите о задаче и оставьте контакты. Мы свяжемся с вами, чтобы обсудить проект.

  1. 01 Контакты
  2. 02 Ваша задача