Google представила TPU 8tx для конфиденциальных вычислений и двухчиповую TPU 8i Max
Новые системы расширяют уже существующее восьмое поколение TPU. Изменения затрагивают хосты, соединения и компоновку, а не только отдельный вычислительный кристалл.

Два варианта внутри существующего поколения
Google 9 ноября расширила семейство ускорителей двумя системами: TPU 8tx и TPU 8i Max. Это не объявление совершенно нового девятого поколения. Представленные ранее TPU 8t и 8i остаются основой линейки, а новые варианты меняют состав и упаковку оборудования под разные нагрузки. Компания отдельно различает разработку вычислительного кристалла и построение системы вокруг него.
У исходной пары разделены приоритеты. TPU 8t ориентирована на крупное обучение с интенсивными вычислениями, а TPU 8i — на вывод моделей с низкой задержкой и повышенными требованиями к обмену данными. Обе могут выполнять разные виды задач; специализация не является жёстким запретом другого применения. Ноябрьские конфигурации продолжают это разделение, добавляя отдельный вариант для конфиденциальной обработки и более плотную компоновку для больших контекстов.
Что меняет TPU 8tx
TPU 8tx использует тот же кремний, что TPU 8t, но сочетается с процессорными хостами AMD EPYC пятого поколения и сетью Boardfly. Google позиционирует систему для конфиденциального вывода, работы с чувствительными весами моделей и небольших задач обучения. В объявлении также названы дообучение, дистилляция и обучение агентов с подкреплением в одном окружении.
Принципиальное различие относится к данным во время обработки. Шифрование накопителя или сетевого соединения защищает другие участки пути и само по себе не описывает состояние рабочей памяти. Новая конфигурация добавляет аппаратные средства изоляции на этом уровне. При этом заявление производителя не является независимым аудитом конкретной установки. Настройки доступа, правила передачи данных и доверие к программному окружению нельзя вывести только из марки ускорителя.
Зачем два кристалла поместили в один корпус
TPU 8i Max объединяет два чипа 8i в одном корпусе. По заявлению Google, относительно 8i это удваивает вычислительные ресурсы, объём SRAM и пропускную способность HBM, сохраняя существующий размер размещения в стойке. Речь идёт о сравнении компонентов системы, а не о гарантированном удвоении скорости любого запроса пользователя.
Общая документация TPU помогает понять ограничение. Ускоритель выполняет матричные операции, а параметры и входные данные поступают из памяти высокой пропускной способности. Внутри TensorCore есть матричные, векторные и скалярные блоки с разными задачами. Если вычислительные блоки ожидают нужные данные, одно увеличение арифметических возможностей не устраняет задержку. Поэтому совместное изменение вычислений, памяти и связей существенно для длинного контекста, даже когда приложение использует знакомую модель.
Система состоит не из одного ускорителя
В архитектурном руководстве Google различает чип, группу TPU Pod и выделенный срез связанных ускорителей. Между чипами среза используется специализированная сеть ICI, а объединение нескольких срезов дополнительно опирается на сеть дата-центра. Эти уровни объясняют, почему компоновка и связи влияют на поведение распределённой задачи не меньше отдельного вычислительного узла.
Для исходной 8i Google уже описывала Boardfly как решение для сокращения пути обмена, а повышенную SRAM связывала с рабочим набором данных вывода. Новые названия поэтому нужно сопоставлять не только по поколению, но и по назначению системы. В рассмотренном анонсе нет универсального срока получения оборудования, единой цены или независимых измерений для всех моделей. Заявленные аппаратные соотношения не следует превращать в собственный тест производительности или расчёт экономии без условий нагрузки.


