Das italienische KI-Startup iGenius hat Colosseum 355B vorgestellt, ein großes Sprachmodell, das auf Nvidia-Technologie basiert. Das Modell zielt darauf ab, Kunden in stark regulierten Branchen mit spezifischen Datenschutzbedürfnissen zu bedienen.
iGenius hat sich auf die KI-Entwicklung für Sektoren wie Finanzen und öffentliche Verwaltung spezialisiert. Ihre KI-Lösung, Crystal, ist für diese Branchen konzipiert und nutzt die Fähigkeiten ihrer LLMs.
Colosseum 355B wurde mit der Nvidia AI Enterprise-Softwareplattform und der DGX Cloud AI-Plattform erstellt, die über 3.000 Nvidia H100 GPUs organisiert. Nvidia berichtete, dass die Entwicklung zwei Monate dauerte. Das Modell, das für einen einzelnen H100 GPU-Knoten optimiert wurde, verfügt über 355 Milliarden Parameter und unterstützt über 50 Sprachen, wobei es in Codierungsaufgaben herausragt.
Das Modell wurde mit einer Methode namens FP8-Präzision vortrainiert, was die Speichernutzung erheblich reduziert und die Inferenzkosten um 50 % senkt, ohne die Genauigkeit oder Qualität zu beeinträchtigen.
Branchen, die strengen Vorschriften unterliegen, gehen oft vorsichtig mit KI-Technologie um. iGenius plant, dies mit seinem neuen Sprachmodell anzugehen, das auf einem einzelnen H100 GPU betrieben werden kann, sodass Organisationen es innerhalb ihrer eigenen Firewall ohne Cloud-Hosting betreiben können. Dies ermöglicht es Unternehmen, ihr proprietäres LLM zu hosten und die volle Kontrolle über das Modell zu behalten.
Laut dem CEO von iGenius, Uljan Sharka, steht das Unternehmen in Kontakt mit potenziellen Nutzern im Finanzdienstleistungssektor, in der Schwerindustrie und in der Regierung. Sharka flog sogar am Donnerstag nach Brüssel, um das neue Modell der Europäischen Kommission vorzustellen.