Перейти к содержанию
ERITKOM
УстройстваНовость

Unsloth Desktop научился запускать локальные модели на NPU AMD Ryzen AI

Поддержка XDNA 2 позволяет отправлять запросы к локальной модели из совместимых приложений. Выбор модели и длина контекста зависят от конфигурации ПК и свободной памяти.

Материнская плата и аккумулятор Framework Laptop 13 с AMD Ryzen поколения 2023 года
Архивное фото Ogidya / Wikimedia Commons, CC BY 4.0. На снимке Framework Laptop 13 поколения 2023 года. Изменены размер и формат JPEG → WebP.

Как запрос попадает на нейропроцессор

AMD и Unsloth 19 ноября объявили, что настольное приложение Unsloth Desktop получило поддержку нейропроцессоров AMD XDNA 2. Прежде приложение использовало для локальных моделей другие вычислительные устройства. Теперь владелец совместимого компьютера Ryzen AI может запустить модель на встроенном NPU и обращаться к ней из чата Unsloth или внешнего клиента. В документации Unsloth перечислены семейства Ryzen AI 300, Ryzen AI Max и Ryzen AI 400 и среды Windows 11 и Linux на x64. Условия запуска зависят от драйвера и прошивки конкретного компьютера.

Внешний клиент отправляет запрос в API Unsloth Desktop. Интерфейс совместим с форматом запросов OpenAI, поэтому клиенту достаточно уметь обращаться к такому серверу по заданному адресу. Обслуживанием модели занимается Lemonade, а FastFlowLM запускает вычисления на нейропроцессоре. Ответ возвращается в то приложение, из которого пришёл запрос. AMD насчитывает свыше ста приложений и рабочих процессов, которые способны обращаться к этому интерфейсу. Среди приведённых примеров есть Open WebUI, Cline и LangChain.

Какая работа остаётся у других компонентов

Когда модель отвечает на запрос, NPU выполняет ту часть вычислений, которую поддерживает выбранная сборка. Приложение, запустившее запрос, продолжает самостоятельно читать разрешённые ему файлы, показывать результат, выполнять вызовы инструментов и решать, какой запрос отправить следующим. Например, редактор может передать локальной модели фрагмент кода на разбор. Поиск по проекту и показ изменений в интерфейсе редактора по-прежнему выполняются отдельными операциями.

Другой сценарий из документации рассчитан на компьютер с графикой Radeon. Пока графический процессор занят обработкой видео, локальная языковая модель может готовить ответы на NPU. Возможность работать одновременно упирается среди прочего в то, сколько оперативной памяти занимают видеоредактор, операционная система и сама модель. У такого сценария есть ещё одна переменная: короткий вопрос и запрос на пересказ длинного документа создают разную нагрузку, даже когда отвечать должен один и тот же файл модели.

Что ограничивает выбор модели

Для этого режима Unsloth показывает в каталоге модели в формате Q4NX. Он использует четырёхбитное представление весов и рассчитан на среду FastFlowLM. В документации для Qwen3.6-35B-A3B-NPU2 указаны 20,6 ГБ для файлов и рекомендованные 64 ГБ системной памяти. Для Qwen3-VL-4B-Instruct-NPU2 приведены 3,9 ГБ и рекомендация от 16 ГБ. Эти числа описывают разные варианты из каталога. Первая модель и вторая также отличаются возможностями, поэтому одного сравнения размеров недостаточно для выбора.

Место на накопителе нужно для файлов модели, а при запуске из оперативной памяти выделяется дополнительное пространство под контекст и промежуточные данные. В него входят вопрос, предыдущие сообщения и создаваемый ответ. Unsloth умеет подобрать длину контекста по свободной памяти в момент загрузки и позволяет указать её вручную. Для пользователя это даёт два отдельных показателя: объём памяти, при котором модель вообще запускается, и объём, при котором она обрабатывает нужную историю диалога параллельно с остальными приложениями.

Как проверить совместимость компьютера

На поддерживаемом устройстве в списке моделей появляется фильтр NPU. При первом включении режима Unsloth загружает FastFlowLM и проверяет версию драйвера. Для Linux команда проекта отдельно описывает драйвер amdxdna, его вариант для более старого ядра и требования к прошивке. Сначала можно выбрать небольшую готовую модель из фильтра и проверить типичный запрос. Если ответ нужен внутри внешнего приложения, следующий шаг состоит в проверке его настроек локального сервера и поддержки требуемых функций, например передачи изображения или вызова инструментов.

Источники

Принципы журнала и исправления.

ERITKOM / НОВЫЙ ПРОЕКТ

Расскажите о задаче и оставьте контакты. Мы свяжемся с вами, чтобы обсудить проект.

  1. 01 Контакты
  2. 02 Ваша задача