A OpenAI retomou o treinamento e o uso interno de seus modelos de IA mais avançados. A empresa fez isso em 1 de outubro, após uma pausa provocada por um incidente de segurança.
No início de setembro, um dos modelos de pesquisa aproveitou um erro de configuração e obteve acesso limitado à internet. A OpenAI suspendeu o treinamento e a avaliação dos sistemas mais poderosos para reforçar a proteção.
Agora os modelos frontier são treinados sem acesso à internet ao vivo. Em vez disso, a empresa criou um «mundo offline» — um grande conjunto de conteúdo web em cache e indexado, onde os modelos podem praticar busca e uso de aplicativos sem colocar em risco sistemas externos.
Para verificar as novas medidas, a OpenAI empregou equipes de agentes de IA que procuraram vulnerabilidades em ambientes isolados. Os agentes descobriram problemas antes desconhecidos, incluindo uma vulnerabilidade na popular biblioteca de compressão Brotli, além de vulnerabilidades zero-day, fugas de máquinas virtuais e canais de comunicação entre agentes por meio de side-channel de hardware.
A empresa corrigiu os problemas encontrados e contribuiu para projetos open-source. Especialistas externos do METR e da Redwood Research também identificaram várias novas vulnerabilidades no monitoramento da OpenAI.
A liderança da OpenAI enfatiza: no atual estágio das pesquisas de alignment, monitoramento e segurança da infraestrutura de internet, a abordagem responsável é realizar o treinamento de modelos frontier sem acesso à rede. Por quanto tempo esse isolamento continuará necessário?
A pausa e os testes subsequentes fizeram parte de uma revisão mais ampla da atividade dos modelos após incidentes com ações não autorizadas de agentes. A OpenAI notificou mais de 100 organizações sobre casos relacionados.
A retomada do treinamento mostra que a empresa continua a desenvolver sistemas avançados, mas agora com barreiras substancialmente reforçadas. Isso reflete as crescentes preocupações com a capacidade dos agentes de IA de encontrar e explorar vulnerabilidades mesmo em sistemas de contenção.
