Nemotron 3.5 Transcribe объединяет расшифровку, перевод и разделение говорящих
NVIDIA выпустила управляемую инструкциями речевую модель и Granary v2. У весов, разметки и исходного аудио разные условия использования.
Одна запись — несколько представлений
NVIDIA представила Nemotron 3.5 Transcribe — модель, которой можно словами задать способ обработки аудио. Одна и та же запись превращается в обычную расшифровку, текст с метками говорящих, перевод либо ответ на вопрос по содержанию. Такой подход уменьшает число отдельных моделей в приложении, но возможности по языкам неодинаковы. Компания заявляет расшифровку для 40 языков, перевод 31 языка в английский и обратно и атрибуцию говорящих для 13 языков. Для записей указана продолжительность до часа, для диалога — до восьми участников. Эти пределы описывают поддерживаемый сценарий, а не гарантию одинаковой точности для любой записи.
Что даёт контекст и где он мешает
Инструкция может содержать профессиональные термины и требуемый формат. Это полезно, когда общеупотребительное слово похоже по звучанию на название продукта или медицинский термин. Однако подсказка способна и навязать неверное слово. Карточка прямо отмечает ошибки подстановки, пропуски, повторения и правдоподобную речь, которой на записи не было. Отдельного внимания требуют шум, пересечение голосов, имена и переключение языков. Возможность задать вопрос не превращает модель в универсальную текстовую систему: текстовые задачи не были основной целью обучения. Понимание аудио и выполнение устных инструкций оценивались на английском; перенос этой части возможностей на остальные языки пока не подтверждён теми же испытаниями.
Что именно открыто в Granary v2
Вместе с моделью опубликован Granary v2 — набор синтетических текстовых меток и инструкций для речевых корпусов. Важная деталь карточки: репозиторий распространяет манифесты, а не сами звуковые файлы. Исходное аудио получают у владельцев соответствующих коллекций и сопоставляют с разметкой по идентификаторам. Данные включают цели для распознавания, нормализации написания, описания звука, смешанной речи и вопросов по записи. Наличие поля зависит от конкретного примера. Метка высокого качества означает прохождение автоматической проверки конвейера, а не ручную верификацию каждого слова. Число часов распознавания и перевода также нельзя складывать как независимый объём: перевод использует уже учтённое аудио.
Адаптация и условия использования
Для настройки NVIDIA предлагает инструменты NeMo Speech и пример работы с медицинской речью. В описанном эксперименте дообучение уменьшило относительную частоту словесных ошибок на отложенных говорящих по сравнению с лучшей подсказкой. Это результат конкретной предметной области, а не универсальное обещание для каждой организации. У Granary отдельно разграничены лицензии: большая часть опубликованной разметки использует OpenMDW 1.1, поднабор People's Speech — CC BY-SA 4.0. Исходные записи продолжают подчиняться условиям своих распространителей. Лицензию модели, лицензию меток и разрешение на звуковые файлы нужно читать раздельно. Для приложений со стенограммой метки говорящих тоже остаются предсказанием: уверенно оформленная реплика может оказаться приписанной не тому участнику.
