2 октября OpenAI объявила о публичном тестировании своей API в реальном времени, предназначенной для создания приложений ИИ, позволяющих голосовые взаимодействия с использованием GPT-4o. Эта новая функция позволяет платным разработчикам создавать интерактивные многомодальные опыты с низкой задержкой в своих приложениях.
OpenAI также объявила о партнерстве с тремя партнерами по голосовым API: LiveKit, Agora и Twilio. Agora, которая сосредоточена на рынках США и международном рынке, выпустила SDK для разговорного ИИ, который интегрирует новую API в реальном времени от OpenAI, позволяя естественные голосовые взаимодействия с ИИ.
Этот подход обрабатывает голос напрямую, а не преобразует его в текст, что позволяет проводить реалистичные беседы и помогает ИИ понимать человеческие эмоции. Запуск API в реальном времени знаменует собой значительный шаг вперед для OpenAI в области приложений ИИ, снижая задержки взаимодействия и улучшая эмоциональное выражение в беседах.