Le 2 octobre, OpenAI a annoncé le test public de son API en temps réel conçue pour développer des applications d'IA permettant des interactions vocales utilisant GPT-4o. Cette nouvelle fonctionnalité permet aux développeurs payants de créer des expériences interactives multimodales à faible latence au sein de leurs applications.
OpenAI a également révélé des partenariats avec trois collaborateurs d'API vocale : LiveKit, Agora et Twilio. Agora, qui se concentre sur les marchés américain et international, a lancé un SDK d'IA conversationnelle intégrant la nouvelle API en temps réel d'OpenAI, facilitant les interactions vocales naturelles avec l'IA.
Cette approche traite directement la voix au lieu de la convertir en texte, permettant des conversations réalistes et permettant à l'IA de comprendre les émotions humaines. Le lancement de l'API en temps réel marque une avancée significative pour OpenAI dans le domaine des applications d'IA, réduisant les délais d'interaction et améliorant l'expression émotionnelle dans les conversations.