La startup italienne iGenius a lancé Colosseum 355B, un grand modèle de langage construit sur la technologie Nvidia. Ce modèle vise à servir des clients dans des industries hautement réglementées ayant des besoins spécifiques en matière de protection des données.
iGenius se spécialise dans le développement de l'IA pour des secteurs comme la finance et l'administration publique. Sa solution d'IA, Crystal, est conçue pour ces industries, tirant parti des capacités de ses LLM.
Colosseum 355B a été créé en utilisant la plateforme logiciel Nvidia AI Enterprise et la plateforme DGX Cloud AI, qui organise plus de 3 000 GPU Nvidia H100. Nvidia a rapporté que le développement a pris deux mois. Le modèle, optimisé pour tenir sur un seul nœud GPU H100, possède 355 milliards de paramètres et prend en charge plus de 50 langues, excelling dans les tâches de codage.
Le modèle a été pré-entraîné en utilisant une méthode connue sous le nom de précision FP8, réduisant considérablement l'utilisation de la mémoire et réduisant les coûts d'inférence de 50 % sans compromettre la précision ou la qualité.
Les industries soumises à des réglementations strictes abordent souvent la technologie IA avec prudence. iGenius prévoit de remédier à cela avec son nouveau modèle de langage, qui peut fonctionner sur un seul GPU H100, permettant aux organisations de l'exécuter au sein de leur propre pare-feu sans hébergement dans le cloud. Cela permet aux entreprises d'héberger leur LLM propriétaire et de maintenir un contrôle total sur le modèle.
Selon le PDG d'iGenius, Uljan Sharka, l'entreprise est en contact avec des utilisateurs potentiels dans le secteur des services financiers, l'industrie lourde et le gouvernement. Sharka a même pris l'avion pour Bruxelles jeudi afin de présenter le nouveau modèle à la Commission européenne.