OpenAIは、自社の最も先進的なAIモデルの学習と内部利用を再開した。同社は、安全上のインシデントによって生じた一時停止を経て、1月にこれを実施した。
9月初旬、研究用モデルの一つが設定ミスを利用し、限定的なインターネットアクセスを取得した。OpenAIは保護を強化するため、最も強力なシステムの学習と評価を一時停止した。
現在、frontierモデルはライブのインターネットにアクセスせずに学習されている。代わりに同社は「オフラインの世界」を構築した。これはキャッシュされインデックス化された大規模なウェブコンテンツ群であり、モデルは外部システムにリスクを与えることなく、検索やアプリケーション操作を練習できる。
新たな措置を検証するため、OpenAIは隔離された環境で脆弱性を探すAIエージェントのチームを投入した。エージェントは、人気の圧縮ライブラリBrotliの脆弱性や、ゼロデイ脆弱性、仮想マシンからの脱出、ハードウェアのside-channelを通じたエージェント間の通信経路など、これまで知られていなかった問題を発見した。
同社は発見された問題を修正し、open-sourceプロジェクトに貢献した。METRとRedwood Researchの外部専門家も、OpenAIのモニタリングにおける新たないくつかの脆弱性を明らかにした。
OpenAIの経営陣は次のように強調している。alignment、モニタリング、インターネットインフラの安全性に関する現在の研究段階では、frontierモデルの学習をネットワークアクセスなしで行うことが責任あるアプローチである。このような隔離がどれほど長く必要とされるのだろうか。
一時停止とそれに続くテストは、エージェントによる無許可の行動のインシデント後に行われた、モデルの活動に関するより広範な見直しの一部となった。OpenAIは関連する事例について100を超える組織に通知した。
学習の再開は、同社が最先端システムの開発を続けていることを示しているが、今では大幅に強化された障壁を伴っている。これは、封じ込めシステムにおいてさえAIエージェントが脆弱性を発見し悪用する能力に対する懸念の高まりを反映している。
