В значительном развитии событий ведущая компания в области искусственного интеллекта Anthropic заключила партнерство с Министерством энергетики США (DOE) для повышения безопасности своих моделей ИИ в отношении чувствительной ядерной информации.
Это сотрудничество, начатое в апреле, сосредоточено на том, чтобы гарантировать, что модели ИИ Anthropic не раскрывают случайно детали о ядерном оружии. Национальная администрация ядерной безопасности (NNSA) DOE проводит упражнение 'red-teaming' по модели ИИ Anthropic, Claude 3 Sonnet, с целью выявления потенциальных уязвимостей, которые могут быть использованы для вредных ядерных приложений.
Оценка безопасности продлится до февраля, в течение которого NNSA также оценит обновленную версию Claude 3.5 Sonnet. Для поддержки этих строгих испытаний Anthropic сотрудничает с Amazon Web Services (AWS), хотя результаты этой пилотной программы еще не были обнародованы.
Anthropic планирует поделиться результатами своих оценок безопасности с научными лабораториями и другими организациями, чтобы способствовать независимому тестированию и снизить риск злоупотребления ИИ. Марина Фаваро, руководитель национальной политики безопасности Anthropic, подчеркнула важность сотрудничества между технологическими компаниями и федеральными агентствами в оценке рисков национальной безопасности.
Уэндин Смит из NNSA отметила, что ИИ стал важной темой в обсуждениях по вопросам национальной безопасности, утверждая, что агентство готово оценивать риски, связанные с ИИ, особенно касающиеся ядерной безопасности. Эта инициатива соответствует недавнему меморандуму президента Джо Байдена, призывающему к оценке безопасности ИИ в засекреченных условиях.