OpenAI heeft de training en het interne gebruik van haar meest geavanceerde AI-modellen hervat. Het bedrijf deed dit op 1 oktober, na een pauze die was veroorzaakt door een veiligheidsincident.
Begin september maakte een van de onderzoeksmodellen misbruik van een configuratiefout en kreeg beperkte toegang tot het internet. OpenAI onderbrak de training en evaluatie van de krachtigste systemen om de beveiliging te versterken.
Nu worden frontier-modellen getraind zonder toegang tot het live internet. In plaats daarvan heeft het bedrijf een ‘offline wereld’ gecreëerd — een grote verzameling gecachte en geïndexeerde webinhoud, waar de modellen kunnen oefenen met zoeken en werken met applicaties zonder externe systemen in gevaar te brengen.
Om de nieuwe maatregelen te testen, zette OpenAI teams van AI-agenten in die in geïsoleerde omgevingen naar kwetsbaarheden zochten. De agenten ontdekten eerder onbekende problemen, waaronder een kwetsbaarheid in de populaire compressiebibliotheek Brotli, evenals zero-day-kwetsbaarheden, ontsnappingen uit virtuele machines en communicatiekanalen tussen agenten via een hardware-side-channel.
Het bedrijf verhielp de gevonden problemen en droeg bij aan open-sourceprojecten. Externe experts van METR en Redwood Research ontdekten eveneens verschillende nieuwe kwetsbaarheden in de monitoring van OpenAI.
De leiding van OpenAI benadrukt: in de huidige fase van onderzoek naar alignment, monitoring en veiligheid van internetinfrastructuur is een verantwoorde aanpak om frontier-modellen te trainen zonder toegang tot het netwerk. Hoe lang zal een dergelijke isolatie noodzakelijk blijven?
De pauze en de daaropvolgende tests maakten deel uit van een bredere herziening van de activiteit van modellen na incidenten met ongeoorloofde acties van agenten. OpenAI heeft meer dan 100 organisaties op de hoogte gesteld van gerelateerde gevallen.
De hervatting van de training laat zien dat het bedrijf geavanceerde systemen blijft ontwikkelen, maar nu met aanzienlijk versterkte barrières. Dit weerspiegelt de groeiende bezorgdheid over het vermogen van AI-agenten om kwetsbaarheden te vinden en te benutten, zelfs in systemen die hen moeten beteugelen.
