Перейти к содержанию
ERITKOM
ИИНовость

IBM выпустила Granite LLMON preview: инструкции и документы получают разные роли

Экспериментальные варианты Granite 4.1 используют адресуемую разметку контекста. Новый формат предназначен для исследований, а не промышленного запуска; защита от внедрённых команд остаётся вероятностной.

Архивная фотография экрана с программным кодом, не интерфейс LLMON и не снимок события IBM
luis gomes, Wikimedia Commons / Pexels, CC0 1.0. Архивная иллюстрация; дата 5 августа 2017 года указана в карточке. Уменьшение и перевод JPEG в WebP.

Что именно выпустили 12 ноября

Команда IBM Granite представила два экспериментальных варианта Granite 4.1 с обозначениями 3B и 8B, обученных работать с LLMON. Название расшифровывается как LLM Object Notation. Формат явно разделяет смысловые части контекста: задание, документы, ограничения ответа и результаты инструментов. Смысл нововведения не в увеличении окна или появлении ещё одного чат-интерфейса, а в том, чтобы модель лучше различала назначение полученного текста.

Вместо обычных знаков пунктуации границы блоков обозначают специальные токены. У частей контекста есть собственные идентификаторы, поэтому инструкция может ссылаться на определённые данные, даже если они расположены далеко друг от друга. По устройству это ближе к передаче аргументов функции, чем к длинному сообщению, где модель сама должна восстановить все связи.

Как разметка попадает в приложение

В репозитории LLMON опубликованы инструменты и примеры использования языка на входе модели и в её ответах. Один из примеров отдельно размечает просьбу придумать заголовок письма и само письмо: содержимое обращения становится материалом обработки, а не продолжением команды. Такой подход позволяет сохранять различие между операцией и объектом этой операции на уровне интерфейса с моделью.

Разработчику не обязательно вручную собирать всю разметку. Поставляемый шаблон chat_template.jinja преобразует обычный список сообщений через apply_chat_template. В высокоуровневой библиотеке Mellea работа с LLMON может оставаться внутри среды исполнения. Для предметных понятий предусмотрен другой сценарий: дообучение существующей модели на собственном словаре тегов. Это настройка поведения модели, а не обещание, что любые произвольные теги автоматически будут поняты без обучения. Примеры таких экспериментов вынесены в отдельный каталог проекта. Для пользователя приложения это может означать прежний экран общения, хотя внутреннее представление запросов и ответов уже изменилось.

Какие ограничения есть у моделей

Карточка варианта 8B указывает лицензию Apache 2.0 и двенадцать поддерживаемых языков. Русского среди них нет; возможность дообучения на других языках не равнозначна опубликованному подтверждению качества русскоязычных сценариев. В перечне задач находятся обобщение, извлечение данных, ответы на вопросы, работа с найденными документами и вызовы функций.

При этом модель ожидает именно LLMON-представление. Если передать ей обычный чатовый формат в обход приложенного шаблона, такой вход оказывается за пределами распределения обучения и качество ухудшается. Поэтому наличие привычного метода вызова не означает совместимости любого старого промпта с новой моделью. Проверять требуется и содержание сообщений, и то, каким образом библиотека фактически сериализует их перед генерацией.

Что означает разделение команд и данных

IBM сообщает о повышенной устойчивости к статическим непрямым prompt injection в собственных тестах. Авторы отдельно продолжают исследовать адаптивные атаки в многоходовых диалогах. Публикация прямо относит выпуск к предварительным экспериментам для изучения и оценки, не к производственному применению.

Главная оговорка карточки модели касается самой границы доверия: правило приоритетов выучено, а не принудительно обеспечено внешним механизмом. Команда, спрятанная в документе или ответе инструмента, всё ещё может повлиять на поведение. Разметка также не устраняет неточные, предвзятые или нежелательные ответы. Поэтому объявленный формат нельзя считать самостоятельной защитой агента с доступом к чувствительным системам: структурированный контекст и фактическое разрешение выполнить действие остаются разными вещами.

Источники

Принципы журнала и исправления.

ERITKOM / НОВЫЙ ПРОЕКТ

Расскажите о задаче и оставьте контакты. Мы свяжемся с вами, чтобы обсудить проект.

  1. 01 Контакты
  2. 02 Ваша задача