SambaNova atteint une vitesse record avec le déploiement du modèle d'IA DeepSeek-R1

SambaNova Systems a annoncé le déploiement le plus rapide au monde du grand modèle linguistique DeepSeek-R1 671B. L'entreprise a atteint 198 tokens par seconde par utilisateur en utilisant seulement 16 puces personnalisées, remplaçant les 40 racks de 320 GPU Nvidia généralement nécessaires. Selon SambaNova, leur puce SN40L RDU fait de leur plateforme la plus rapide pour exécuter DeepSeek. Ils prévoient d'augmenter la vitesse jusqu'à cinq fois plus vite que la dernière vitesse GPU sur un seul rack et d'offrir 100 fois la capacité pour DeepSeek-R1 d'ici la fin de l'année. L'architecture de flux de données reconfigurable de SambaNova offre une solution plus efficace, offrant trois fois la vitesse et cinq fois l'efficacité des GPU de pointe. DeepSeek-R1 est désormais disponible sur SambaNova Cloud, avec un accès API offert à certains utilisateurs.