SambaNova behaalt recordsnelheid met DeepSeek-R1 AI-modelimplementatie

SambaNova Systems heeft de snelste implementatie ter wereld aangekondigd van het DeepSeek-R1 671B grote taalmodel. Het bedrijf behaalde 198 tokens per seconde per gebruiker met slechts 16 op maat gemaakte chips, ter vervanging van de 40 racks met 320 Nvidia GPU's die normaal vereist zijn. Volgens SambaNova maakt hun SN40L RDU-chip hun platform het snelst voor het uitvoeren van DeepSeek. Ze verwachten de snelheid te verhogen tot vijf keer sneller dan de nieuwste GPU-snelheid op één rack en tegen het einde van het jaar 100 keer de capaciteit voor DeepSeek-R1 te bieden. De herconfigureerbare dataflow-architectuur van SambaNova biedt een efficiëntere oplossing, met drie keer de snelheid en vijf keer de efficiëntie van toonaangevende GPU's. DeepSeek-R1 is nu beschikbaar op SambaNova Cloud, met API-toegang aangeboden aan geselecteerde gebruikers.