NVIDIA и Kumo опубликовали исследование моделей прогноза по одной таблице
В препринте от 17 ноября авторы раскрыли устройство Kumo Tabular, синтетические данные предобучения и условия сравнения трёх версий.

Что появилось в ноябре
17 ноября группа авторов NVIDIA Kumo Tabular опубликовала препринт с описанием семейства моделей для классификации и регрессии. Веса и обзор NVIDIA уже были доступны до появления работы, поэтому повод этого материала — исследование, а не первый выпуск модели. В работе описаны три версии, от 27 до 214 миллионов параметров по подсчёту препринта. Каждая принимает таблицу, где у части строк известен целевой показатель, и рассчитывает оценки для строк, где его требуется предсказать. Цель может быть категорией, например исходом уже завершённого обращения, или числом, если задача заключается в прогнозе величины.
Что делает модель при прогнозе
Кумо применяет два уровня представления. Сначала кодировщик строит компактное представление каждой строки, обрабатывая её признаки. Затем трансформер сравнивает представления строк с известными целями и строк без цели. Размеченные строки передаются как контекст для прогнозов. Для нового набора не требуется заново обновлять веса самой базовой сети, хотя специалисту по данным всё равно необходимо отобрать доступные признаки, проверить качество меток и спроектировать испытание. Если система получит столбец, значение которого появляется только после события, удачная оценка будет отражать утечку данных, а не способность прогнозировать будущее.
Зачем предобучение на искусственных данных
Семейство предобучалось на сгенерированных таблицах, а не на тех рабочих таблицах, которые ему впоследствии передаст пользователь. Для генерации авторы моделировали различные зависимости между столбцами, шум, пропуски и различия между группами наблюдений. На этапах обучения менялся размер таблиц. Такая конструкция учит модель находить типичные зависимости в новых данных, но применимость к конкретным производственным или финансовым записям всё равно определяется проверкой на данных этой задачи. Например, для потока заявок с изменившейся сезонностью практическую ценность покажут ошибки на более поздних обращениях, тогда как случайное смешивание старых и новых строк способно скрыть смену условий.
Как читать сравнение и лицензии
Авторы приводят сравнения с методами табличного машинного обучения на нескольких наборах. Максимальные размеры таблиц из эксперимента зависят от конкретной версии и конфигурации вычислений, включая ускоритель H100. Их нельзя размножить на произвольный сервер или на любую комбинацию строк и столбцов. В практическом пилоте разумно сопоставить три размера на одинаковом разбиении выборки и измерить качество, время предсказания и пиковое потребление памяти. Для повторных прогнозов пакет также описывает вариант, где представление исходных примеров кэшируется. Существенны и условия распространения: библиотека Structured Data Models публикуется с лицензией Apache 2.0 для собственного кода NVIDIA, а веса семейства используют OpenMDW 1.1. Это разные компоненты с разными правилами. Сам препринт описывает только прогнозы по одной таблице. Для связанных таблиц, прогнозов временных рядов и поиска аномалий в линейке NVIDIA Kumo перечислены отдельные модели. При сравнении классификаторов стоит заранее выбрать порог принятия решения и разделить ложные срабатывания и пропуски. Прогноз вероятности может быть полезным для сортировки обращений, даже если правила обработки каждой группы определяет отдельный процесс. Для регрессии аналогично имеет значение, где именно по диапазону целевого показателя сосредоточены крупные ошибки.


