SageMaker разрешила делить GPU между моделями через NVIDIA MIG
Аппаратные разделы появились для real-time endpoints с inference components. Они не разделяют всю виртуальную машину и не меняют почасовую цену экземпляра сами по себе.

Один ускоритель может обслуживать несколько моделей
AWS 6 ноября объявила поддержку Multi-Instance GPU в SageMaker Inference. Технология NVIDIA MIG делит физический GPU на аппаратно изолированные разделы с закреплёнными вычислительными ресурсами и памятью. Это даёт промежуточный вариант между выделением целого ускорителя небольшой модели и программным совместным использованием устройства без такого же разделения ресурсов.
В новом управляемом сценарии применяются real-time endpoints с inference components. При этом оплачивается полный вычислительный экземпляр, как и прежде: разделение повышает возможность использовать его ресурсы, но само по себе не превращает каждый раздел в независимо оплачиваемую маленькую виртуальную машину. Опубликованные AWS сравнительные результаты относятся к их моделям и нагрузкам; здесь они не выдаются за наши измерения или гарантированную экономию читателя.
Разметку задают до запуска endpoint
Руководство SageMaker описывает два необязательных поля API. AcceleratorPartitionLayouts задаёт раскладку ускорителей в production variant, а AcceleratorPartitionType у inference component выбирает подходящий тип раздела. Без этих полей endpoint сохраняет прежнее поведение. Запрос к модели по-прежнему адресуется имени inference component: вызывающему приложению не требуется включать физическое расположение раздела в каждое обращение.
Уже работающую раскладку нельзя незаметно заменить через обычное обновление endpoint: для другой схемы требуется создать новый. Изоляция также не охватывает весь компьютер. Модели на одном экземпляре продолжают разделять процессор хоста, оперативную память, накопитель и сеть. Поэтому выделенная память GPU и независимость всех задержек приложения не являются одинаковыми обещаниями; узкое место может находиться вне ускорителя.
Число разделов зависит от модели GPU
В документации NVIDIA профили определяют доли вычислительных блоков и памяти, которые не всегда пропорциональны друг другу. Например, профиль H100 с тремя вычислительными долями и 40 ГБ памяти занимает три седьмых вычислительных ресурсов, но половину памяти 80-гигабайтной модели. Поэтому два одинаковых профиля могут исчерпать память раньше, чем формальная сумма вычислительных долей достигнет семи.
Это объясняет, почему схему нельзя переносить на другой GPU только по похожему названию. У разных ускорителей разные наборы профилей и допустимые сочетания. Не каждый возможный профиль из общего руководства NVIDIA обязательно поддержан конкретной конфигурацией сервиса AWS. Таблица ниже относится к перечисленным AWS семействам и показывает верхний предел при выборе подходящих профилей, а не число моделей, которое гарантированно поместится при любой нагрузке.
| Семейство | Ускоритель | Максимум |
|---|---|---|
| P4d | A100 40 ГБ | 7 |
| P5 | H100 80 ГБ | 7 |
| G7 | RTX PRO 4500 32 ГБ | 2 |
| G7e | RTX PRO 6000 96 ГБ | 4 |
Источник: официальная документация
Доступность и ограничения наблюдения
AWS перечисляет P4d с A100, P5 с H100, G7 с RTX PRO 4500 и G7e с RTX PRO 6000. Доступность объявлена в Северной Вирджинии, Огайо, Орегоне, Сингапуре, Токио, Франкфурте и Ирландии; конкретный тип экземпляра и квоту всё равно нужно проверять отдельно. Наличие региона в списке не означает наличие каждой модели GPU в любом объёме.
Руководство также предупреждает, что partitioned endpoints и их inference components не публикуют метрики утилизации GPU, CPU и памяти; для наблюдения доступны метрики обращений и задержек. Это существенная граница для оценки загрузки, а не доказательство отсутствия аппаратной работы. Модель, которой нужен целый GPU или несколько устройств, не обязана выигрывать от разделения: выбор определяется памятью, вычислениями и фактическим профилем запросов, а не одним новым переключателем.


