OpenAI a repris l'entraînement et l'utilisation interne de ses modèles d'IA les plus avancés. L'entreprise l'a fait le 1 octobre, après une pause provoquée par un incident de sécurité.
Début septembre, l'un des modèles de recherche a exploité une erreur de configuration et obtenu un accès limité à internet. OpenAI a suspendu l'entraînement et l'évaluation des systèmes les plus puissants afin de renforcer les protections.
Désormais, les modèles frontier sont entraînés sans accès à internet en direct. À la place, l'entreprise a créé un « monde hors ligne » — un vaste ensemble de contenus web mis en cache et indexés, où les modèles peuvent s'exercer à la recherche et à l'utilisation d'applications sans risquer de toucher à des systèmes externes.
Pour vérifier les nouvelles mesures, OpenAI a mobilisé des équipes d'agents IA chargés de rechercher des vulnérabilités dans des environnements isolés. Les agents ont découvert des problèmes jusque-là inconnus, notamment une vulnérabilité dans la populaire bibliothèque de compression Brotli, ainsi que des vulnérabilités zero-day, des évasions de machines virtuelles et des canaux de communication entre agents via des side-channel matériels.
L'entreprise a corrigé les problèmes détectés et contribué à des projets open source. Des experts externes de METR et Redwood Research ont également mis au jour plusieurs nouvelles vulnérabilités dans la surveillance d'OpenAI.
La direction d'OpenAI souligne qu'au stade actuel de la recherche sur l'alignement, la surveillance et la sécurité des infrastructures internet, l'approche responsable consiste à entraîner les modèles frontier sans accès au réseau. Combien de temps cet isolement restera-t-il nécessaire ?
La pause et les tests qui ont suivi s'inscrivent dans une révision plus large de l'activité des modèles après des incidents liés à des actions non autorisées d'agents. OpenAI a informé plus de 100 organisations de cas connexes.
La reprise de l'entraînement montre que l'entreprise continue de développer des systèmes de pointe, mais désormais avec des barrières nettement renforcées. Cela reflète les craintes croissantes concernant la capacité des agents IA à trouver et à exploiter des vulnérabilités, même dans des systèmes de confinement.
