En un desarrollo significativo, la destacada empresa de inteligencia artificial Anthropic ha formado una alianza con el Departamento de Energía de EE. UU. (DOE) para mejorar la seguridad de sus modelos de IA respecto a información nuclear sensible.
Esta colaboración, iniciada en abril, se centra en garantizar que los modelos de IA de Anthropic no revelen accidentalmente detalles sobre armas nucleares. La Administración Nacional de Seguridad Nuclear (NNSA) del DOE está llevando a cabo un ejercicio de 'red-teaming' sobre el modelo de IA de Anthropic, Claude 3 Sonnet, con el objetivo de identificar vulnerabilidades que podrían ser explotadas para aplicaciones nucleares perjudiciales.
La evaluación de seguridad continuará hasta febrero, durante la cual la NNSA también evaluará la versión actualizada de Claude 3.5 Sonnet. Para respaldar estas pruebas rigurosas, Anthropic se ha asociado con Amazon Web Services (AWS), aunque los hallazgos de este programa piloto aún no se han divulgado.
Anthropic planea compartir los resultados de sus evaluaciones de seguridad con laboratorios científicos y otras organizaciones para promover pruebas independientes y mitigar el uso indebido de la IA. Marina Favaro, líder de política de seguridad nacional de Anthropic, destacó la importancia de la colaboración entre empresas tecnológicas y agencias federales para abordar los riesgos de seguridad nacional.
Wendin Smith de la NNSA señaló que la IA se ha convertido en un tema crítico en las discusiones sobre seguridad nacional, afirmando que la agencia está preparada para evaluar los riesgos relacionados con la IA, especialmente aquellos que involucran la seguridad nuclear. Esta iniciativa se alinea con el reciente memorando del presidente Joe Biden que aboga por evaluaciones de seguridad de la IA en entornos clasificados.