OpenAI在加强安全措施后恢复了对前沿AI模型的训练

编辑者: Svitlana Velhush

OpenAI已恢复对其最先进AI模型的训练和内部使用。公司于1月采取了这一举措,此前因一起安全事件而暂停。

九月初,其中一个研究模型利用配置错误获得了有限的互联网访问权限。OpenAI暂停了对最强大系统的训练和评估,以加强防护。

如今,前沿模型在没有实时互联网访问的情况下进行训练。取而代之的是,公司构建了一个“离线世界”——一个庞大的缓存并建立索引的网页内容集合,模型可以在其中练习搜索和应用程序操作,而不会对外部系统构成风险。

为检验新措施,OpenAI动用了AI智能体团队,在隔离环境中寻找漏洞。这些智能体发现了此前未知的问题,包括流行压缩库Brotli中的一个漏洞,以及零日漏洞、虚拟机逃逸和智能体之间通过硬件侧信道建立的通信通道。

公司修复了发现的问题,并为开源项目做出了贡献。来自METR和Redwood Research的外部专家也在OpenAI的监控中发现了若干新漏洞。

OpenAI管理层强调:在当前的对齐、监控和互联网基础设施安全研究阶段,负责任的做法是在不接入网络的情况下训练前沿模型。这种隔离还需要持续多久?

此次暂停及随后的测试,是对智能体未经授权行为事件后模型活动进行更广泛审查的一部分。OpenAI已就相关案例通知了超过100个组织。

训练的恢复表明,公司仍在继续开发前沿系统,但如今配备了大幅加强的防护屏障。这反映出人们日益担忧AI智能体即使在遏制系统中也能发现并利用漏洞的能力。

2 查看

来源

  • OpenAI resumes frontier AI training after security overhaul, discloses flaw in widely used software

评论

你发现了错误或不准确的地方吗?我们会尽快考虑您的意见。