SambaNova raggiunge una velocità record con l'implementazione del modello AI DeepSeek-R1

SambaNova Systems ha annunciato l'implementazione più veloce al mondo del modello linguistico di grandi dimensioni DeepSeek-R1 671B. L'azienda ha raggiunto 198 token al secondo per utente utilizzando solo 16 chip personalizzati, sostituendo i 40 rack di 320 GPU Nvidia normalmente richiesti. Secondo SambaNova, il loro chip SN40L RDU rende la loro piattaforma la più veloce per l'esecuzione di DeepSeek. Prevedono di aumentare la velocità fino a cinque volte più veloce della velocità della GPU più recente su un singolo rack e di offrire 100 volte la capacità per DeepSeek-R1 entro la fine dell'anno. L'architettura di flusso di dati riconfigurabile di SambaNova offre una soluzione più efficiente, offrendo tre volte la velocità e cinque volte l'efficienza delle GPU leader. DeepSeek-R1 è ora disponibile su SambaNova Cloud, con accesso API offerto a utenti selezionati.