Перейти к содержанию
ERITKOM
УстройстваНовость

SageMaker разрешила делить GPU между моделями через NVIDIA MIG

Аппаратные разделы появились для real-time endpoints с inference components. Они не разделяют всю виртуальную машину и не меняют почасовую цену экземпляра сами по себе.

Историческая серверная NERSC как тематическая иллюстрация вычислительной инфраструктуры
Derrick Coetzee, NERSC, 2011, CC0. Историческое тематическое фото, не оборудование AWS или снимок MIG. Изменены размер и формат.

Один ускоритель может обслуживать несколько моделей

AWS 6 ноября объявила поддержку Multi-Instance GPU в SageMaker Inference. Технология NVIDIA MIG делит физический GPU на аппаратно изолированные разделы с закреплёнными вычислительными ресурсами и памятью. Это даёт промежуточный вариант между выделением целого ускорителя небольшой модели и программным совместным использованием устройства без такого же разделения ресурсов.

В новом управляемом сценарии применяются real-time endpoints с inference components. При этом оплачивается полный вычислительный экземпляр, как и прежде: разделение повышает возможность использовать его ресурсы, но само по себе не превращает каждый раздел в независимо оплачиваемую маленькую виртуальную машину. Опубликованные AWS сравнительные результаты относятся к их моделям и нагрузкам; здесь они не выдаются за наши измерения или гарантированную экономию читателя.

Разметку задают до запуска endpoint

Руководство SageMaker описывает два необязательных поля API. AcceleratorPartitionLayouts задаёт раскладку ускорителей в production variant, а AcceleratorPartitionType у inference component выбирает подходящий тип раздела. Без этих полей endpoint сохраняет прежнее поведение. Запрос к модели по-прежнему адресуется имени inference component: вызывающему приложению не требуется включать физическое расположение раздела в каждое обращение.

Уже работающую раскладку нельзя незаметно заменить через обычное обновление endpoint: для другой схемы требуется создать новый. Изоляция также не охватывает весь компьютер. Модели на одном экземпляре продолжают разделять процессор хоста, оперативную память, накопитель и сеть. Поэтому выделенная память GPU и независимость всех задержек приложения не являются одинаковыми обещаниями; узкое место может находиться вне ускорителя.

Число разделов зависит от модели GPU

В документации NVIDIA профили определяют доли вычислительных блоков и памяти, которые не всегда пропорциональны друг другу. Например, профиль H100 с тремя вычислительными долями и 40 ГБ памяти занимает три седьмых вычислительных ресурсов, но половину памяти 80-гигабайтной модели. Поэтому два одинаковых профиля могут исчерпать память раньше, чем формальная сумма вычислительных долей достигнет семи.

Это объясняет, почему схему нельзя переносить на другой GPU только по похожему названию. У разных ускорителей разные наборы профилей и допустимые сочетания. Не каждый возможный профиль из общего руководства NVIDIA обязательно поддержан конкретной конфигурацией сервиса AWS. Таблица ниже относится к перечисленным AWS семействам и показывает верхний предел при выборе подходящих профилей, а не число моделей, которое гарантированно поместится при любой нагрузке.

Семейства из документации SageMaker; максимум разделов на один GPU
СемействоУскорительМаксимум
P4d A100 40 ГБ 7
P5 H100 80 ГБ 7
G7 RTX PRO 4500 32 ГБ 2
G7e RTX PRO 6000 96 ГБ 4

Источник: официальная документация

Доступность и ограничения наблюдения

AWS перечисляет P4d с A100, P5 с H100, G7 с RTX PRO 4500 и G7e с RTX PRO 6000. Доступность объявлена в Северной Вирджинии, Огайо, Орегоне, Сингапуре, Токио, Франкфурте и Ирландии; конкретный тип экземпляра и квоту всё равно нужно проверять отдельно. Наличие региона в списке не означает наличие каждой модели GPU в любом объёме.

Руководство также предупреждает, что partitioned endpoints и их inference components не публикуют метрики утилизации GPU, CPU и памяти; для наблюдения доступны метрики обращений и задержек. Это существенная граница для оценки загрузки, а не доказательство отсутствия аппаратной работы. Модель, которой нужен целый GPU или несколько устройств, не обязана выигрывать от разделения: выбор определяется памятью, вычислениями и фактическим профилем запросов, а не одним новым переключателем.

Источники

Принципы журнала и исправления.

ERITKOM / НОВЫЙ ПРОЕКТ

Расскажите о задаче и оставьте контакты. Мы свяжемся с вами, чтобы обсудить проект.

  1. 01 Контакты
  2. 02 Ваша задача