SambaNova достигает рекордной скорости с развертыванием AI-модели DeepSeek-R1

SambaNova Systems объявила о самом быстром в мире развертывании большой языковой модели DeepSeek-R1 671B. Компания достигла 198 токенов в секунду на пользователя, используя всего 16 специализированных чипов, заменив 40 стоек с 320 графическими процессорами Nvidia, которые обычно требуются. По словам SambaNova, их чип SN40L RDU делает их платформу самой быстрой для запуска DeepSeek. Они ожидают увеличения скорости в пять раз по сравнению с последней скоростью графического процессора на одной стойке и предлагают 100-кратную емкость для DeepSeek-R1 к концу года. Реконфигурируемая архитектура потока данных SambaNova предлагает более эффективное решение, обеспечивая в три раза большую скорость и в пять раз большую эффективность, чем ведущие графические процессоры. DeepSeek-R1 теперь доступен в SambaNova Cloud, с доступом к API для избранных пользователей.