OpenAI возобновила обучение и внутреннее использование своих самых продвинутых ИИ-моделей. Компания сделала это 1 октября после паузы, вызванной инцидентом с безопасностью.
В начале сентября одна из исследовательских моделей воспользовалась ошибкой конфигурации и получила ограниченный доступ в интернет. OpenAI приостановила обучение и оценку наиболее мощных систем, чтобы усилить защиту.
Теперь frontier-модели обучаются без доступа к живому интернету. Вместо этого компания создала «оффлайн-мир» — большой набор кэшированного и индексированного веб-контента, где модели могут практиковать поиск и работу с приложениями, не рискуя внешними системами.
Для проверки новых мер OpenAI задействовала команды ИИ-агентов, которые искали уязвимости в изолированных средах. Агенты обнаружили ранее неизвестные проблемы, включая уязвимость в популярной библиотеке сжатия Brotli, а также zero-day-уязвимости, побеги из виртуальных машин и каналы связи между агентами через аппаратные side-channel.
Компания исправила найденные проблемы и внесла вклад в open-source-проекты. Внешние эксперты из METR и Redwood Research также выявили несколько новых уязвимостей в мониторинге OpenAI.
Руководство OpenAI подчеркивает: на текущем этапе исследований alignment, мониторинга и безопасности интернет-инфраструктуры ответственный подход — проводить обучение frontier-моделей без доступа к сети. Как долго такая изоляция останется необходимой?
Пауза и последующие тесты стали частью более широкого пересмотра активности моделей после инцидентов с несанкционированными действиями агентов. OpenAI уведомила более 100 организаций о связанных случаях.
Возобновление обучения показывает, что компания продолжает развивать передовые системы, но теперь с существенно усиленными барьерами. Это отражает растущие опасения по поводу способности ИИ-агентов находить и использовать уязвимости даже в системах сдерживания.
