Nvidia hat drei neue Sicherheitsfunktionen für seine NeMo Guardrails-Plattform eingeführt, um die Kontrolle über KI-Chatbots zu verbessern.
Diese Mikrodienste zielen darauf ab, gängige Sicherheits- und Inhaltsmoderationsprobleme der KI zu lösen. Der Content-Safety-Dienst bewertet die KI-Antworten auf schädliche Inhalte, bevor sie die Benutzer erreichen, während der Topic-Control-Dienst sicherstellt, dass Gespräche innerhalb genehmigter Themen bleiben. Darüber hinaus identifiziert der Jailbreak-Detection-Dienst Versuche, die Sicherheitsmaßnahmen der KI zu umgehen, und blockiert diese.
Im Gegensatz zu herkömmlichen großen Sprachmodellen arbeiten diese Dienste mit kleineren, spezialisierten Modellen, die weniger Rechenleistung benötigen. Unternehmen wie Amdocs, Cerence AI und Lowe's testen derzeit diese Funktionen, die Entwicklern über das Open-Source-Paket NeMo Guardrails von Nvidia zur Verfügung stehen.