Перейти к содержанию
ERITKOM
ИИНовость

Magnitude 0.2.16: контейнерный запуск локального ИИ и исправление общего кэша

Открытый движок инференса получил официальный Docker-образ. Релиз также устраняет сбой параллельных запросов с общим началом промпта и уточняет работу с моделями.

Официальная иллюстрация интеграции Magnitude с клиентом Pi
Magnitude contributors, иллюстрация интеграции с Pi, Apache 2.0. Изменены размер и PNG→WebP; не скриншот интерфейса и не тест скорости.

Что изменилось в параллельных запросах

Magnitude 0.2.16 опубликован 3 ноября. Это открытый движок для выполнения моделей на собственном оборудовании, а не новая языковая модель. В релизе исправлена ошибка, возникавшая при нескольких одновременных запросах с одинаковым началом промпта: вместо успешного продолжения работа могла завершаться выгрузкой модели.

Теперь запросы ожидают готовности общего префикса и повторно используют его кэш, а не выполняют одинаковую подготовку независимо друг от друга. Это изменение важно различать с качеством ответа: исправляется организация вычислений и хранения промежуточного результата. Оно не превращает выбранную модель в более осведомлённую и не подтверждает одинаковый прирост скорости на любых видеокартах. Собственные сравнительные измерения редакция не проводила.

Официальный контейнер вместо отдельной упаковки

Для Linux доступен официальный образ magnitudedev/magnitude с вариантами x64 и ARM64. Документация описывает его как серверный запуск того же продукта: доступны браузерный интерфейс, совместимые API и командный инструмент внутри контейнера. Такой способ предназначен прежде всего для окружений, в которых остальные компоненты уже работают в контейнерах.

Настольная установка при этом не исчезает. README проекта описывает нативные приложения для разных операционных систем и использование локального оборудования. Выбор контейнера меняет способ установки и сопровождения, а не снимает аппаратные ограничения модели. Для уже существующих GGUF-файлов или кэша моделей предусмотрено подключение папок только для чтения; скачивать одну и ту же коллекцию повторно необязательно, если настроен доступ к имеющимся файлам.

Где сохраняются модели и настройки

Постоянные данные контейнера располагаются в /data. Там сохраняются модели, параметры установки и сетевой ключ. Пересоздание контейнера с тем же томом позволяет оставить эти данные, а запуск без постоянного хранилища не даёт такой гарантии. Это особенно заметно при обновлении: новый экземпляр программы и уже загруженные многогигабайтные файлы имеют разный жизненный цикл.

При сетевом доступе используется ключ, а браузер и API обращаются к одному серверу. В инструкции отдельно описано подключение других контейнеров по имени сервиса. Релиз не предлагает открывать интерфейс без аутентификации. Сам контейнер не устанавливает обновление поверх себя: для смены версии загружают новый образ и пересоздают экземпляр, сохраняя том. В оркестраторах можно закреплять конкретный тег вместо постоянно меняющегося latest.

GPU зависит от хоста, а не только от образа

В Linux описаны варианты NVIDIA CUDA и Vulkan для совместимого оборудования, а при отсутствии доступного ускорителя используется CPU. Для NVIDIA нужен настроенный контейнерный инструментарий хоста; для Vulkan — доступ к устройству и соответствующие права. Само наличие драйвера внутри образа не доказывает, что контейнер получил доступ к физическому ускорителю.

На macOS Docker запускает Linux в виртуальной машине без Metal, поэтому для GPU предлагается нативное приложение. Под Windows документация выделяет NVIDIA через WSL 2; для AMD и Intel отсылает к Windows-приложению. Ограничение памяти виртуальной машины или контейнера также влияет на доступный размер модели. В README настройка вычислительных ядер описывается как подбор под конкретное оборудование, поэтому одинаковый файл модели не означает одинаковую конфигурацию исполнения на двух компьютерах.

Источники

Принципы журнала и исправления.

ERITKOM / НОВЫЙ ПРОЕКТ

Расскажите о задаче и оставьте контакты. Мы свяжемся с вами, чтобы обсудить проект.

  1. 01 Контакты
  2. 02 Ваша задача