SambaNova erzielt Rekordgeschwindigkeit mit DeepSeek-R1 KI-Modelldistribution

SambaNova Systems hat die weltweit schnellste Bereitstellung des großen Sprachmodells DeepSeek-R1 671B angekündigt. Das Unternehmen erreichte 198 Token pro Sekunde und Benutzer mit nur 16 kundenspezifischen Chips, wodurch die üblicherweise benötigten 40 Racks mit 320 Nvidia-GPUs ersetzt wurden. Laut SambaNova macht ihr SN40L RDU-Chip ihre Plattform zur schnellsten für die Ausführung von DeepSeek. Sie erwarten, die Geschwindigkeit auf das Fünffache der neuesten GPU-Geschwindigkeit auf einem einzigen Rack zu erhöhen und bis zum Jahresende die 100-fache Kapazität für DeepSeek-R1 anzubieten. Die rekonfigurierbare Datenflussarchitektur von SambaNova bietet eine effizientere Lösung und liefert die dreifache Geschwindigkeit und die fünffache Effizienz führender GPUs. DeepSeek-R1 ist jetzt auf SambaNova Cloud verfügbar, wobei ausgewählten Benutzern API-Zugriff angeboten wird.