Перейти к содержанию
ERITKOM
ОблакаНовость

Cloud Pathways стал общедоступным на GKE, интеграция со Slurm остаётся предварительной

Среда распределённых вычислений позволяет одному клиенту JAX управлять несколькими TPU-срезами. Общедоступность не отменяет требований к кластеру и проверке подключения.

Серверные стойки NERSC в2011году — тематическое фото вычислительной инфраструктуры
Derrick Coetzee, NERSC, 2011, CC0. Тематическое историческое фото, не инфраструктура Google. Изменены размер и формат.

Два способа развёртывания получили разный статус

Google Cloud 9 ноября объявила общую доступность Cloud Pathways на Google Kubernetes Engine. Система входит в инфраструктурный стек AI Hypercomputer и предназначена для распределённых вычислений машинного обучения на крупных группах ускорителей. Одновременно представлена интеграция с кластерами Slurm через Cluster Director, но её статус пока Preview. Распространять объявление общей доступности на оба варианта было бы неточно.

Для GKE компания перечисляет поддерживаемые поколения TPU v5e, v5p, Trillium и Ironwood в соответствующих регионах. Поставляются версионированные контейнеры с поддержкой JAX 0.10.1 и новее. Это сведения о среде выполнения, а не анонс нового поколения микросхем или обещание наличия свободной мощности в каждом регионе.

Один клиент вместо отдельных интерпретаторов на каждом узле

В типичном многоконтроллерном варианте JAX несколько процессов Python видят подключённые к ним устройства и согласованно выполняют программу. Pathways предлагает другой способ управления: один клиент получает общее представление о нескольких TPU-срезах. Документация связывает этот подход с более сложными вычислительными схемами, включая неодинаковые этапы конвейера и разреженное использование ресурсов.

Внутри системы роли разделены. Менеджер ресурсов распределяет ускорители и наблюдает за рабочими процессами, клиент принимает операции программы, а рабочие процессы выполняют подготовленные вычисления на TPU. Между пользовательским кодом и этой системой находится интерфейс IFRT с прокси-клиентом и сервером. Центральное управление не означает, что вся работа переносится на один процессор: управляющие компоненты и исполнение на ускорителях остаются разными частями архитектуры.

Интерактивный сеанс не равен краткоживущему заданию

Отдельное руководство показывает работу через Jupyter или другой клиент Python вне управляющих компонентов кластера. Когда интерактивная задача заканчивается, компоненты Pathways продолжают работать и могут принимать подключения других клиентов JAX. Это отличается от предположения, что закрытие ноутбука автоматически освобождает всю инфраструктуру. Жизненный цикл вычислительной задачи и выделенной среды требуется учитывать отдельно.

Для подключения задаются прокси-платформа JAX и адрес серверной части; затем инициализация pathwaysutils позволяет проверить, какие устройства видит клиент. Документированный пример распределения по двум срезам действительно требует как минимум двух: при одном часть примера не имеет нужного набора устройств. Успешная установка библиотеки на ноутбуке поэтому ещё не подтверждает, что доступная топология соответствует выбранной программе.

Устойчивость описана механизмом, а не абсолютной гарантией

В объявлении Google выделяет эластичное обучение со снимками состояния в памяти хостов. При отказе части оборудования вычисления могут перераспределяться на оставшиеся срезы без аварийного завершения клиента. Вместе с этим доступны размещённые рядом с TPU процессы Python для загрузки данных и сохранения контрольных точек. Это конкретные средства организации работы, а не универсальная гарантия отсутствия перерывов или потерь.

При переносе действующей нагрузки остаются вопросы подключения, выбранных версий, размеров топологии и поведения программы после изменения доступных ресурсов. Документация позволяет проверять их последовательно: сначала обнаружение нужных устройств, затем небольшой вычислительный сценарий и только после этого длительная задача. Новое объявление подтверждает статус продукта на GKE, но не содержит независимого измерения ускорения любой пользовательской модели или её итоговой стоимости.

Источники

Принципы журнала и исправления.

ERITKOM / НОВЫЙ ПРОЕКТ

Расскажите о задаче и оставьте контакты. Мы свяжемся с вами, чтобы обсудить проект.

  1. 01 Контакты
  2. 02 Ваша задача