In einer bedeutenden Entwicklung hat das führende Unternehmen im Bereich künstliche Intelligenz, Anthropic, eine Partnerschaft mit dem US-Energieministerium (DOE) geschlossen, um die Sicherheit seiner KI-Modelle in Bezug auf sensible nukleare Informationen zu verbessern.
Diese Zusammenarbeit, die im April begonnen wurde, konzentriert sich darauf, sicherzustellen, dass die KI-Modelle von Anthropic keine Details über Atomwaffen versehentlich preisgeben. Die Nationale Nuklearsicherheitsbehörde (NNSA) des DOE führt ein 'Red-Teaming'-Übung zu Anthropics KI-Modell, Claude 3 Sonnet, durch, um potenzielle Schwachstellen zu identifizieren, die für schädliche nukleare Anwendungen ausgenutzt werden könnten.
Die Sicherheitsbewertung wird bis Februar fortgesetzt, während die NNSA auch das aktualisierte Claude 3.5 Sonnet bewerten wird. Um diese rigorosen Tests zu unterstützen, hat Anthropic eine Partnerschaft mit Amazon Web Services (AWS) geschlossen, obwohl die Ergebnisse dieses Pilotprogramms noch nicht veröffentlicht wurden.
Anthropic plant, die Ergebnisse seiner Sicherheitsbewertungen mit wissenschaftlichen Laboren und anderen Organisationen zu teilen, um unabhängige Tests zu fördern und den Missbrauch von KI zu verringern. Marina Favaro, Leiterin der nationalen Sicherheitsstrategie bei Anthropic, betonte die Bedeutung der Zusammenarbeit zwischen Technologieunternehmen und Bundesbehörden zur Bewertung nationaler Sicherheitsrisiken.
Wendin Smith von der NNSA bemerkte, dass KI zu einem zentralen Thema in Diskussionen über die nationale Sicherheit geworden ist und versicherte, dass die Behörde bereit ist, KI-bezogene Risiken, insbesondere im Bereich der nuklearen Sicherheit, zu bewerten. Diese Initiative steht im Einklang mit der kürzlichen Mitteilung von Präsident Joe Biden, die Sicherheitsbewertungen von KI in klassifizierten Umgebungen fordert.