Cloudflare снизила стоимость AI-проверки кода: решающим оказался кеш контекста
Компания разобрала собственный счёт за автоматическое ревью. Изменение порядка контекста, числа обращений и выбора моделей дало разные части экономии.
Почему счёт вырос без новой архитектуры
Cloudflare опубликовала разбор собственного AI-рецензента кода. По данным компании, средняя стоимость проверки со временем выросла примерно с 1,19 доллара до 2,46 доллара, хотя общая схема координатора и специализированных рецензентов сохранилась. После оптимизации указаны 0,77 доллара и уменьшение медианного времени с 4 минут 9 секунд до 1 минуты 32 секунд. Снижение на 68 процентов относится к выбранному периоду сравнения и конкретной системе. Авторы отдельно предупреждают: сравнение соседних периодов вокруг изменений не является полностью контролируемым статистическим экспериментом. Вклад дают и код приложения, и конфигурация моделей; нельзя приписать весь итог единственному исправлению кеша.
Общий префикс оказался не общим
В начале запросов рецензенты использовали одинаковые определения инструментов и инструкции. Однако рядом с ними стояли изменяемые сведения об окружении, после которых находилась граница кеширования. Из-за этого разные репозитории не переиспользовали действительно одинаковую часть. Команда разделила блоки и вынесла переменные данные за стабильный префикс. Важно, что кеш обращается не к смысловой похожести текста: порядок и содержимое передаваемых блоков определяют совпадение. Поэтому две почти одинаковые инструкции могут иметь разную стоимость. Описание Cloudflare также показывает устранение лишних вызовов инструментов и согласование начальных запросов нескольких рецензентов. Эти изменения уменьшают объём повторяемой работы, но требуют соблюдать ограничения самого механизма кеширования.
Как устроена цена кешированного запроса
Документация Anthropic отделяет обычный ввод, запись кеша и чтение уже подготовленного префикса. У них разные тарифные составляющие и сроки хранения. Кеш полезен, когда следующая операция успевает переиспользовать тот же префикс и его размер соответствует условиям модели. Если текст меняется раньше точки совпадения, ожидаемой экономии может не быть. Также нужно учитывать момент готовности: параллельный запрос не прочитает запись, которая ещё не появилась. На уровне приложения это влияет на порядок запуска нескольких задач. Поэтому процент попаданий в кеш, объём прочитанных токенов и итоговая стоимость — три отдельных показателя. Увеличение кеш-чтений не всегда хорошо, если программа одновременно делает ненужные повторные обращения.
Меньший расход не доказывает то же качество
Вторая часть оптимизации связана с выбором модели и интенсивности рассуждения. В такой системе проверка цены должна идти рядом с измерением результатов: найденные проблемы, пропуски, ложные срабатывания и длительность. Снижение числа выходных токенов может означать более прямой путь, но само по себе не подтверждает сохранение глубины анализа. Cloudflare сравнивала варианты на собственных рабочих задачах и публикует границы метода. Исходная статья об архитектуре объясняет распределение работы между рецензентами; документация кеша раскрывает контракт API. Вместе эти источники позволяют увидеть, где возникает стоимость многошагового облачного приложения. Общий эффект относится ко всей цепочке запросов, а не к цене одной тысячи токенов в таблице поставщика.
