Перейти к содержанию
ERITKOM
ИИНовость

Transformers 5.22.2 усилил изоляцию Jinja и исправил распределённый запуск

Патч ограничивает доступные объекты шаблонов чата и передаёт device_id только backend NCCL, избегая неподдерживаемого разделения групп.

Историческое фото серверного зала CERN
Florian Hirzinger, CERN, 2009, CC BY-SA 3.0. Историческое тематическое фото, не инфраструктура Hugging Face. Изменены размер и формат; WebP под той же лицензией.

Шаблон чата находится между сообщением и моделью

Hugging Face выпустила Transformers 5.22.2 с двумя основными исправлениями: усилением Jinja sandbox и уточнением распределённой инициализации. Шаблоны чата преобразуют список сообщений в последовательность токенов, которую ожидает модель. Это отдельный этап обработки; у разных моделей даже на общей основе могут отличаться специальные маркеры и формат разговора.

Документация объясняет, что модель продолжает последовательность токенов, а роли и сообщения получают смысл благодаря выбранному формату. Поэтому шаблон — не просто оформление окна чата. Он участвует в подготовке входа для вычисления. Ошибка на этой границе не обязательно проявляется как неверный ответ модели: она может затрагивать код, который выполняет форматирование ещё до запуска генерации текста.

Какие объекты доступны внутри изоляции

В первичном обсуждении безопасности разработчики указывают на ошибку CPython, связанную с dict, доступным в Jinja sandbox. По их описанию, исправление есть для веток Python 3.13–3.15, но рассчитывать на перенос во все более ранние версии нельзя. Transformers использует упрощённый вариант словаря с минимальным набором методов вместо передачи прежнего объекта без дополнительных ограничений.

Также ограничен доступ к атрибутам namespace, начинающимся с подчёркивания, и очищаются входные сообщения. Цель — не передавать внутрь шаблона объекты с доступными атрибутами, по которым можно выйти за предусмотренные границы. Это конкретное усиление библиотечного слоя, а не обещание полной безопасности приложения. Права процесса, источник шаблонов и внешние инструменты модели остаются самостоятельными поверхностями риска. Новость не содержит инструкций эксплуатации или заявления о подтверждённой атаке на конкретный сервис.

Один параметр подходит не каждому backend

Второе исправление касается функции подготовки torch.distributed. Ранее device_id передавался почти всем backend, кроме CPU. Эта настройка связывает процесс с устройством, но затем DeviceMesh может выбрать создание подгрупп через split_groups. Не каждый backend поддерживает такой путь; в обсуждении приведён сбой при работе с Trainium.

Патч передаёт device_id только для NCCL. Автор допускает добавление других поддерживаемых вариантов позднее, но это не означает, что они уже включены в 5.22.2. Одинаковый интерфейс распределённых вычислений не делает все аппаратные реализации взаимозаменяемыми. Ошибка создания группы может остановить запуск до полезной нагрузки; её устранение не является доказательством ускорения обучения или увеличения доступной памяти на каждом ускорителе.

Обновляется библиотека, а не веса всех моделей

Версия Transformers и версия используемого checkpoint — разные сущности. Патч меняет подготовку шаблонов и распределённый код, но не объявляет переобучление всех совместимых моделей. Установленный пакет, интерпретатор Python, PyTorch и выбранный backend образуют конкретное окружение. Одного названия модели недостаточно, чтобы воспроизвести подобный сбой или подтвердить наличие исправления.

В релизе нет универсальных процентов улучшения качества ответов, скорости генерации или экономии ресурсов. Публикация предназначена для доставки точечных исправлений между более крупными обновлениями. Работоспособность существующего приложения проверяется на его шаблонах и фактическом оборудовании. Здесь не запускались внешние пользовательские модели и не выполнялись испытания выхода из изоляции; описаны опубликованные границы и назначение двух правок, подтверждённые первоисточниками.

Источники

Принципы журнала и исправления.

ERITKOM / НОВЫЙ ПРОЕКТ

Расскажите о задаче и оставьте контакты. Мы свяжемся с вами, чтобы обсудить проект.

  1. 01 Контакты
  2. 02 Ваша задача