Перейти к содержанию
ERITKOM
ИИНовость

Salesforce выпустила SOV-Transcribe-1: распознавание речи с настройкой стиля и открытыми весами

Модель позволяет задавать формат расшифровки и подсказывать терминологию. Она рассчитана на непотоковую обработку записей, поддерживает семь языков без русского и требует отдельной проверки условий развёртывания.

Ноутбук и блокнот на архивной фотографии рабочего стола 2014 года; тематическая иллюстрация работы с текстом, не демонстрация SOV-Transcribe-1
Ed Gregory (EXIF); публикация www.Pixel.la Free Stock Photos, рабочий стол с ноутбуком, 09.09.2014, CC0 1.0. Архивное тематическое фото, не экран SOV-Transcribe-1 и не событие Salesforce. Изменены размер и JPEG→WebP.

Расшифровкой управляют инструкции и контекст

Salesforce 12 ноября представила SOV-Transcribe-1 — модель автоматического распознавания речи с опубликованными весами под Apache 2.0. Её можно разворачивать на собственной инфраструктуре. Выпуск относится к непотоковому преобразованию аудиозаписей в текст: он не означает появления готового разговорного сервиса, который выдаёт слова одновременно с поступлением звука.

Вместе с записью модель принимает инструкции на естественном языке. Можно запросить дословную расшифровку либо убрать речевые запинки, определить запись чисел, пунктуацию и оформление текста. Для сложной терминологии предусмотрены подсказки: список имён, специальные слова или краткое описание темы разговора. Это особенно существенно для диктовки адресов электронной почты и телефонных номеров, где потерянный символ меняет смысл результата. Salesforce также проверяла распознавание разных английских акцентов и шумных записей; результаты отдельных испытаний не являются обещанием безошибочной работы с любым аудио.

Семь языков и отдельные требования к запуску

Карточка модели указывает английский, французский, немецкий, испанский, итальянский, португальский и нидерландский языки. Русского в заявленном списке нет. Входное аудио подготавливается как моно с частотой 16 кГц; разработчики проверяли записи продолжительностью до 30 минут. Этот предел описывает испытанную длительность, а не неограниченную обработку многочасовых разговоров.

Архитектура объединяет аудиокодировщик Whisper large-v3, промежуточный проектор и языковую MoE-модель Gemma 4 26B A4B. С учётом аудиокодировщика указаны 26,6 млрд параметров всего и 4,6 млрд активных. На момент выпуска встроенная поддержка в основных версиях vLLM и Transformers ещё переносилась в эти проекты: для vLLM предлагается плагин, а репозиторий содержит собственный код модели для Transformers.

Пример загрузки требует разрешения trust_remote_code. В рекомендациях также отмечены редкие зацикленные повторы и необходимость следить за обрезанием длинного вывода. Поэтому наличие весов и лицензии не отменяет проверки загружаемого кода, настроек обработки и полученной расшифровки.

DFlash ускоряет основную модель, но не заменяет её

Отдельно опубликована вспомогательная SOV-Transcribe-1-DFlash на 430 млн параметров. Она предлагает сразу несколько будущих токенов, которые проверяет основной распознаватель. Такой механизм называется спекулятивным декодированием: вспомогательный компонент сокращает последовательную работу большой модели, но сам по себе не умеет превращать аудио в текст.

Карточка DFlash описывает пятислойную архитектуру и предложения длиной 15 токенов. Компонент предназначен только для SOV-Transcribe-1 и подключается к её запуску в vLLM или Transformers. Авторы оценивают ускорение примерно в два–три раза при обработке одного запроса за раз; для фрагментов короче десяти секунд и длинных записей выигрыш меньше. Это оценка разработчиков для определённой нагрузки, а не универсальная характеристика оборудования. Ускорение такого декодирования не превращает непотоковую модель в потоковую систему распознавания речи.

Показатель ошибок зависит от состава и правил теста

Методика Artificial Analysis объясняет, почему точность распознавания нельзя оценивать одним процентом без состава проверочных записей. WER учитывает замены, вставки и пропуски слов относительно проверенной расшифровки. По одному результату нельзя заключить, что такая же доля ошибок будет у каждого языка, телефонного разговора или продиктованного адреса: показатель относится к конкретному набору и процедуре проверки.

Методика Artificial Analysis использует около восьми часов аудио. Половина итогового веса приходится на AA-AgentTalk, по четверти — на очищенные VoxPopuli и Earnings22. Перед сопоставлением нормализуются допустимые различия написания, а внутри наборов применяется усреднение с учётом длительности записей. Скорость измеряется отдельно от точности и включает сетевую задержку для API. Следовательно, опубликованный показатель качества текста не описывает время ответа собственного развёртывания и не подтверждает точность на языке, отсутствующем в заявленной поддержке модели.

Источники

Принципы журнала и исправления.

ERITKOM / НОВЫЙ ПРОЕКТ

Расскажите о задаче и оставьте контакты. Мы свяжемся с вами, чтобы обсудить проект.

  1. 01 Контакты
  2. 02 Ваша задача