Перейти к содержанию
ERITKOM
ИИНовость

llama.cpp b12144 меняет раскладку вычислений MoE в CUDA

Свежая сборка перераспределяет рабочие блоки между экспертами. Авторские микротесты не означают одинакового ускорения всех моделей.

Знак llama.cpp из исходников b12144
The ggml authors, источник, лицензия. Изменены размер и формат, пропорции сохранены. Собственный SVG media под MIT, полный LICENSE сохранён; не результат модели.

Изменение движка, а не весов

В llama.cpp появилась сборка b12144 с изменением раскладки данных для CUDA-ядер MMQ и MMF при работе со смесью экспертов. В центре обновления — подготовка и распределение небольших участков матричной работы. Публикация не является выпуском новой языковой модели: словарь, обученные веса и качество ответов конкретного файла от номера движка не меняются автоматически.

В архитектуре MoE эксперты получают разные части работы. Общее число параметров не описывает характер вычислений запроса. Существенны выбранные эксперты, размер обрабатываемой группы и упаковка заданий для ускорителя. Исправление затрагивает внутренний путь исполнения, а не формат диалога, длину ответа или правила выбора источников. Изменение расположения вычислительных заданий само по себе не обучает модель новым фактам.

Задания готовятся до основного ядра

В PR 31047 автор объясняет переход от нижней и верхней границ столбцов, назначенных эксперту, к предварительно вычисленному распределению тайлов вспомогательным ядром. Это позволяет уменьшать число потенциально запускаемых рабочих участков и гибче распределять их между экспертами. Важны расходы на организацию вычислений вокруг математики, а не появление нового интерфейса.

Обсуждаются меньшие размеры тайлов и подготовка к будущей поддержке повторяющихся идентификаторов экспертов в CUDA. Подготовка не равна завершённой пользовательской функции: наличие структуры ещё не означает поддержки всех связанных сценариев. В релизной записи отдельно упомянуто исправление регрессии производительности F16, без обещания единого результата для каждого GPU и размера пакета. Соответствующие изменения не следует смешивать с универсальным обновлением всех бэкендов.

Два этапа одного ответа

Инструмент llama-bench разделяет обработку входного текста и генерацию новых токенов. Этапы нагружают систему по-разному. Большая входная последовательность может показать результат оптимизации пакетной матричной работы, тогда как скорость последовательного вывода изменится иначе. Сводить оба результата к одному числу без названия теста некорректно.

Документация предусматривает параметры размера запроса, генерации, пакета, микропакета, потоков и размещения слоёв на GPU. Доступны повторения и машинные форматы вывода. Воспроизводимое измерение содержит больше условий, чем модель видеокарты. Размер модели и квантование тоже должны совпадать, иначе сравниваются разные задачи, а не код движка. Скорость загрузки файла также не равна скорости последующего вывода: ожидание чтения накопителя не описывает эффективность вычислительного ядра.

Границы опубликованных измерений

Обсуждение содержит авторские таблицы для разных моделей, ускорителей и микропакетов. Встречаются улучшения и значения близкие к прежним. Это данные разработчика в указанных условиях, а не тестирование редакции. Они не превращены в обещание ускорения домашнего компьютера на фиксированный процент и не используются для рекомендации покупки оборудования.

Номер b12144 фиксирует артефакт непрерывного выпуска; GitHub помечает его предварительным. Сборки разных вычислительных бэкендов не взаимозаменяемы из-за принадлежности одному коммиту. Изменение CUDA-пути не означает одинакового эффекта в CPU- или Vulkan-режиме. Совместимость модели, доступная память и параметры запуска остаются самостоятельными условиями локального вывода. Логотип на иллюстрации обозначает проект, а не качество результата модели или сертификат совместимости оборудования пользователя.

Источники

Принципы журнала и исправления.

ERITKOM / НОВЫЙ ПРОЕКТ

Расскажите о задаче и оставьте контакты. Мы свяжемся с вами, чтобы обсудить проект.

  1. 01 Контакты
  2. 02 Ваша задача