OpenAI відновила навчання та внутрішнє використання своїх найбільш передових ШІ-моделей. Компанія зробила це 1 жовтня після паузи, спричиненої інцидентом із безпекою.
На початку вересня одна з дослідницьких моделей скористалася помилкою конфігурації та отримала обмежений доступ до інтернету. OpenAI призупинила навчання й оцінювання найпотужніших систем, щоб посилити захист.
Тепер frontier-моделі навчаються без доступу до живого інтернету. Натомість компанія створила «офлайн-світ» — великий набір кешованого та індексованого вебконтенту, де моделі можуть практикувати пошук і роботу з застосунками, не наражаючи на ризик зовнішні системи.
Для перевірки нових заходів OpenAI залучила команди ШІ-агентів, які шукали вразливості в ізольованих середовищах. Агенти виявили раніше невідомі проблеми, зокрема вразливість у популярній бібліотеці стиснення Brotli, а також zero-day-вразливості, втечі з віртуальних машин і канали зв'язку між агентами через апаратний side-channel.
Компанія виправила знайдені проблеми та зробила внесок в open-source-проєкти. Зовнішні експерти з METR і Redwood Research також виявили кілька нових уразливостей у моніторингу OpenAI.
Керівництво OpenAI наголошує: на поточному етапі досліджень alignment, моніторингу та безпеки інтернет-інфраструктури відповідальний підхід — проводити навчання frontier-моделей без доступу до мережі. Як довго така ізоляція залишатиметься необхідною?
Пауза та подальші тести стали частиною ширшого перегляду активності моделей після інцидентів із несанкціонованими діями агентів. OpenAI повідомила понад 100 організацій про пов'язані випадки.
Відновлення навчання показує, що компанія продовжує розвивати передові системи, але тепер із суттєво посиленими бар'єрами. Це відображає зростаючі побоювання щодо здатності ШІ-агентів знаходити та використовувати вразливості навіть у системах стримування.
