Dans un développement significatif, la société d'intelligence artificielle de premier plan Anthropic a établi un partenariat avec le ministère américain de l'Énergie (DOE) pour améliorer la sécurité de ses modèles d'IA concernant des informations nucléaires sensibles.
Cette collaboration, initiée en avril, vise à garantir que les modèles d'IA d'Anthropic ne divulguent pas accidentellement des détails sur les armes nucléaires. L'Administration nationale de la sécurité nucléaire (NNSA) du DOE mène un exercice de 'red-teaming' sur le modèle d'IA d'Anthropic, Claude 3 Sonnet, visant à identifier les vulnérabilités potentielles pouvant être exploitées pour des applications nucléaires nuisibles.
L'évaluation de la sécurité se poursuivra jusqu'en février, période durant laquelle la NNSA évaluera également la version mise à jour de Claude 3.5 Sonnet. Pour soutenir ces tests rigoureux, Anthropic s'est associé à Amazon Web Services (AWS), bien que les résultats de ce programme pilote n'aient pas encore été divulgués.
Anthropic prévoit de partager les résultats de ses évaluations de sécurité avec des laboratoires scientifiques et d'autres organisations afin de promouvoir des tests indépendants et de réduire les risques d'abus de l'IA. Marina Favaro, responsable de la politique de sécurité nationale chez Anthropic, a souligné l'importance de la collaboration entre les entreprises technologiques et les agences fédérales pour traiter les risques de sécurité nationale.
Wendin Smith de la NNSA a noté que l'IA est devenue un sujet critique dans les discussions sur la sécurité nationale, affirmant que l'agence est prête à évaluer les risques liés à l'IA, notamment ceux impliquant la sécurité nucléaire. Cette initiative s'inscrit dans le cadre du récent mémo du président Joe Biden plaidant pour des évaluations de sécurité de l'IA dans des environnements classifiés.