OpenAI значительно расширяет голосовые возможности своего API

OpenAI объявила о масштабном обновлении своего программного интерфейса (API), добавив ряд инновационных голосовых функций. Эти инструменты призваны помочь разработчикам создавать приложения, способные общаться с пользователями, транскрибировать речь и переводить разговоры в реальном времени.

Новый голосовой ИИ: GPT-Realtime-2

Среди новинок — голосовая модель GPT-Realtime-2, предназначенная для создания реалистичной имитации голоса, способной вести диалог с пользователями. Отмечается, что в отличие от своего предшественника, GPT-Realtime-1.5, эта версия разработана с использованием логики уровня GPT-5. По заявлениям OpenAI, это позволяет модели обрабатывать значительно более сложные запросы.

Мгновенный перевод речи

Также представлена функция GPT-Realtime-Translate, которая обеспечивает синхронный перевод речи, идущий "в ногу" с темпом разговора. Эта функция поддерживает более 70 входных языков (то есть языков, которые модель может распознавать) и 13 выходных языков (языков, на которые осуществляется перевод).

Прямая транскрипция

Еще одним важным дополнением стала новая возможность транскрипции — GPT-Realtime-Whisper. Она предоставляет пользователям функцию преобразования живой речи в текст, фиксируя взаимодействия по мере их возникновения.

В компании подчеркнули, что "запускаемые модели преобразуют аудио в реальном времени из простого взаимодействия типа 'вопрос-ответ' в голосовые интерфейсы, способные выполнять реальную работу: слушать, рассуждать, переводить, транскрибировать и действовать по мере развития беседы".

Сферы применения и потенциал

Очевидной целью для этих обновлений являются компании, стремящиеся расширить возможности обслуживания клиентов. Однако OpenAI также отмечает, что новые функции будут полезны в широком спектре областей, включая образование, медиа, организацию мероприятий и платформы для создателей контента.

Меры безопасности и защита от злоупотреблений

Хотя эти инструменты кажутся весьма полезными для бизнеса, существует вероятность их неправомерного использования. В OpenAI заявили, что были разработаны надёжные меры защиты, призванные предотвратить злоупотребление новыми функциями для создания спама, мошенничества или других форм онлайн-злоупотреблений. В систему встроены специальные триггеры, которые могут остановить разговор, если он будет расценен как нарушающий принципы компании по безопасному контенту.

Модели оплаты

Все новые голосовые модели включены в состав Realtime API от OpenAI. Функции перевода (Translate) и транскрипции (Whisper) тарифицируются поминутно, в то время как GPT-Realtime-2 оплачивается исходя из потребления токенов.