SambaNova atinge velocidade recorde com a implantação do modelo de IA DeepSeek-R1

A SambaNova Systems anunciou a implantação mais rápida do mundo do modelo de linguagem grande DeepSeek-R1 671B. A empresa alcançou 198 tokens por segundo por usuário usando apenas 16 chips personalizados, substituindo os 40 racks de 320 GPUs Nvidia normalmente necessários. De acordo com a SambaNova, seu chip SN40L RDU torna sua plataforma a mais rápida para executar o DeepSeek. Eles preveem aumentar a velocidade para cinco vezes mais rápido do que a velocidade da GPU mais recente em um único rack e oferecer 100 vezes a capacidade para DeepSeek-R1 até o final do ano. A arquitetura de fluxo de dados reconfigurável da SambaNova oferece uma solução mais eficiente, oferecendo três vezes a velocidade e cinco vezes a eficiência das GPUs líderes. O DeepSeek-R1 já está disponível no SambaNova Cloud, com acesso à API oferecido a usuários selecionados.