La startup italiana iGenius ha lanzado Colosseum 355B, un gran modelo de lenguaje construido sobre la tecnología de Nvidia. El modelo tiene como objetivo atender a clientes en industrias altamente reguladas con necesidades específicas de protección de datos.
iGenius se especializa en el desarrollo de IA para sectores como finanzas y administración pública. Su solución de IA, Crystal, está diseñada para estas industrias, aprovechando las capacidades de sus LLM.
Colosseum 355B fue creado utilizando la plataforma de software Nvidia AI Enterprise y la plataforma DGX Cloud AI, que organiza más de 3,000 GPUs Nvidia H100. Nvidia informó que el desarrollo tomó dos meses. El modelo, optimizado para funcionar en un solo nodo GPU H100, cuenta con 355 mil millones de parámetros y es compatible con más de 50 idiomas, destacándose en tareas de codificación.
El modelo fue preentrenado utilizando un método conocido como precisión FP8, lo que reduce significativamente el uso de memoria y recorta los costos de inferencia en un 50% sin comprometer la precisión o calidad.
Las industrias sujetas a estrictas regulaciones a menudo abordan la tecnología de IA con cautela. iGenius planea abordar esto con su nuevo modelo de lenguaje, que puede funcionar en un solo GPU H100, permitiendo a las organizaciones ejecutarlo dentro de su propio cortafuegos sin necesidad de alojamiento en la nube. Esto permite a las empresas alojar su LLM propietario y mantener el control total sobre el modelo.
Según el CEO de iGenius, Uljan Sharka, la empresa está en contacto con posibles usuarios en el sector de servicios financieros, la industria pesada y el gobierno. Sharka incluso voló a Bruselas el jueves para presentar el nuevo modelo a la Comisión Europea.