Итальянский стартап iGenius запустил Colosseum 355B, большую языковую модель, построенную на технологии Nvidia. Модель нацелена на обслуживание клиентов в сильно регулируемых отраслях с особыми потребностями в защите данных.
iGenius специализируется на разработке ИИ для таких секторов, как финансы и государственное управление. Их ИИ-решение, Crystal, разработано для этих отраслей, используя возможности их LLM.
Colosseum 355B была создана с использованием программной платформы Nvidia AI Enterprise и платформы DGX Cloud AI, которая организует более 3000 GPU Nvidia H100. Nvidia сообщила, что разработка заняла два месяца. Модель, оптимизированная для работы на одном узле GPU H100, имеет 355 миллиардов параметров и поддерживает более 50 языков, выделяясь в задачах кодирования.
Модель была предварительно обучена с использованием метода, известного как FP8-прецизионность, что значительно снижает использование памяти и сокращает затраты на вывод на 50% без ущерба для точности или качества.
Отрасли, подверженные строгим нормативным требованиям, часто осторожно относятся к технологиям ИИ. iGenius планирует решить эту проблему с помощью своей новой языковой модели, которая может работать на одном GPU H100, позволяя организациям запускать ее в пределах своего собственного межсетевого экрана без облачного хостинга. Это позволяет компаниям размещать свой собственный LLM и сохранять полный контроль над моделью.
По словам генерального директора iGenius, Ульяна Шарки, компания находится в контакте с потенциальными пользователями в секторе финансовых услуг, тяжелой промышленности и правительстве. Шарка даже полетел в Брюссель в четверг, чтобы представить новую модель Европейской комиссии.