Перейти к содержанию
ERITKOM
ИИНовость

OpenAI открыла GPT-Live-1.1 в API, модель появилась и в Vercel AI Gateway

Разработчики получили отдельный идентификатор голосовой модели. В прямых WebRTC-сессиях Live добавился режим ожидания, а через Vercel доступна работа по WebSocket.

Проводной USB-микрофон на архивной фотографии 2010 года
Архивное фото USB-микрофона: Evan-Amos / Wikimedia Commons, общественное достояние. Изменены размер и формат JPEG → WebP.

Голосовая модель вышла за пределы ChatGPT

19 ноября GPT-Live-1.1 появилась в журнале изменений OpenAI API. В тот же день Vercel объявила о её доступности через AI Gateway. В пользовательском ChatGPT обновление голоса начали разворачивать ещё в октябре. Ноябрьский повод — доступ для разработчиков, которые подключают модель к собственному приложению. В конфигурации действующей сессии Live можно выбрать новый идентификатор модели. У Vercel используется идентификатор с префиксом поставщика.

Live одновременно принимает входящую речь и озвучивает ответ. Участник разговора может уточнить вопрос до окончания реплики модели. В документации OpenAI указывает на улучшения в расшифровке речи и более устойчивое произношение при смене языка. Страница модели не приводит универсального процента точности для разных условий записи. Для телефонного интерфейса практический эффект зависит в том числе от качества микрофона, фонового шума и того, насколько часто в разговоре встречаются имена, числа и сокращения.

У разговора и фоновой задачи разные роли

Голосовая модель поддерживает диалог, а работу с данными можно передать отдельно подключённой системе. Например, пока пользователь добавляет номер заказа, приложение может уточнять статус доставки в своей базе. Когда результат готов, приложение возвращает его в голосовую сессию, и модель сообщает статус собеседнику. Такой подход позволяет независимо выбирать голосовую модель и систему для поиска, рассуждений или работы с бизнес-данными.

OpenAI описывает два способа делегирования. В одном работу с текстовой моделью выполняет Responses на стороне OpenAI. В другом приложение самостоятельно обрабатывает событие делегирования и возвращает ответ в сессию. Для сценария Vercel описан второй способ. Например, проверка заказа может требовать согласия пользователя и доступа только к записям его аккаунта. Это определяет приложение, которому принадлежат данные и логика работы с ними.

Что означает ожидание в WebRTC

В журнале OpenAI также появился режим ожидания для прямых WebRTC-сессий GPT-Live-1 и GPT-Live-1.1. При настроенной паузе и отсутствии речи вычисление может временно останавливаться. Медиасоединение остаётся открытым, а модель возобновляет работу, когда участник снова начинает говорить. Это полезно, например, когда собеседник на некоторое время отвлёкся, чтобы найти документ, и собирается продолжить разговор в том же окне.

Vercel документирует для GPT-Live подключение через WebSocket. На этом маршруте WebRTC режима Live нет. Его документация отдельно отмечает, что выключение микрофона и пауза в передаче звука не закрывают сессию. При расчёте расходов на приложение нужно учитывать длительность открытого соединения и отдельно оплачиваемые обращения к дополнительным моделям и инструментам. Одинаковая голосовая модель поэтому может по-разному учитываться в двух схемах подключения.

Как сравнивать работу голосового интерфейса

В существующей интеграции сначала можно поменять идентификатор и повторить один набор разговорных сценариев. Полезно проверить серию чисел и букв, переключение языка в середине фразы и уточнение во время ответа. Затем стоит повторить ситуацию с запросом данных, когда сервер отвечает с задержкой. Это показывает, сохраняется ли контекст разговора и слышит ли пользователь вернувшийся результат после своей новой реплики.

Разработчик может отдельно наблюдать события открытия, делегирования и закрытия сессии. Такая проверка помогает заметить разницу между успешно установленным соединением, полученным звуком и фактическим выполнением действия на сервере.

Источники

Принципы журнала и исправления.

ERITKOM / НОВЫЙ ПРОЕКТ

Расскажите о задаче и оставьте контакты. Мы свяжемся с вами, чтобы обсудить проект.

  1. 01 Контакты
  2. 02 Ваша задача