Исследование NVIDIA Cosmos объясняет интерактивную симуляцию для физического ИИ
Работа от 4 ноября рассматривает управляемые виртуальные среды; примеры Transfer-Auto и Sim-Auto различаются способом генерации и ограничениями камер.

Новый повод — исследование, а не повторный анонс весов
NVIDIA опубликовала на arXiv работу Interactive World Simulation with Cosmos for Physical AI. Первая версия датирована 4 ноября. Авторы рассматривают интерактивные виртуальные среды для обучения и оценки физических ИИ-систем: навигацию камеры, манипуляции робота, управляемое преобразование видео и многокамерную автомобильную симуляцию. Здесь результат генерации должен согласовываться с управляющими условиями, а не только выглядеть убедительно.
Публикацию исследования важно отделить от истории весов. Карточка Cosmos3-Nano-Transfer-Auto указывает дату размещения 20 октября, поэтому эти модели не выдаются за впервые появившиеся сегодня. Свежий повод — описание исследовательского подхода и связанных сценариев. Примеры и открытые checkpoints позволяют изучать метод, но сами по себе не доказывают пригодность системы для управления реальным автомобилем.
Один сценарий и несколько синхронных наблюдений
Transfer-Auto создаёт согласованные видеопотоки камер и, при соответствующем режиме, наблюдения LiDAR. Управляющие World Scenario Map описывают структуру сцены: дорожные знаки, светофоры, разметку и объёмные представления объектов. Текст задаёт внешний вид, например освещение и погоду. Так геометрию ситуации можно отделить от вариаций её визуального представления.
Карточка модели говорит о поддержке до одиннадцати обычных и fisheye-ракурсов. Документация отдельно предупреждает: выпущенный checkpoint оптимизирован под эталонный набор камер. Совпадение формальных идентификаторов не гарантирует качества на иной геометрии. Перенос управляющих данных на эталонную схему не преобразует записанные RGB-изображения автоматически; исходные кадры и обучение должны соответствовать реально выбранным положениям камер. Эти ограничения относятся и к работе с собственными исходными данными.
Чем отличается Sim-Auto
Sim-Auto — причинный вариант, полученный дистилляцией. Он генерирует последовательность частями, используя скользящий кеш ключей и значений и фиксированный четырёхшаговый sampler. Transfer-Auto описан как двунаправленная генерация для пакетной подготовки синтетических данных. Это разные режимы работы, а не два взаимозаменяемых названия одного вызова с одинаковыми параметрами.
Руководство Sim-Auto указывает варианты 832×480 и 1280×720 и рекомендует соотношение 16:9. Эталонный совместный режим требует согласованных камер с частотой 30 кадров в секунду и LiDAR 10 Гц. Простая смена скорости воспроизведения не исправляет интерпретацию движения моделью. Такие ограничения относятся к рецепту запуска и данным; они не являются измерением частоты реального времени на произвольном пользовательском компьютере.
Открытая модель не заменяет проверку среды
Материалы распространяются по OpenMDW 1.1, а документация различает запуск, адаптацию под собственный набор камер и последующую дистилляцию. Для новых ракурсов предлагается дообучение на согласованных данных. Качество синтетической сцены зависит не только от prompt, но и от синхронизации, соответствия ракурсов и используемого checkpoint.
Исследовательская симуляция помогает ставить воспроизводимые задачи, однако визуальная правдоподобность не равна физической точности или подтверждённой безопасности поведения. Длинный красивый ролик не является дорожным испытанием. В этой публикации нет собственных запусков модели, замеров ускорителей или оценки пригодности автономного вождения. Исследование, технический рецепт и модельная карточка дают разные части сведений: общую постановку, конкретные входы и ограничения опубликованного артефакта.


