SambaNova alcanza velocidad récord con el despliegue del modelo de IA DeepSeek-R1

SambaNova Systems anunció el despliegue más rápido del mundo del modelo de lenguaje grande DeepSeek-R1 671B. La compañía logró 198 tokens por segundo por usuario utilizando solo 16 chips personalizados, reemplazando los 40 racks de 320 GPU Nvidia que normalmente se requieren. Según SambaNova, su chip SN40L RDU hace que su plataforma sea la más rápida para ejecutar DeepSeek. Anticipan aumentar la velocidad a cinco veces más rápido que la última velocidad de GPU en un solo rack y ofrecer 100 veces la capacidad para DeepSeek-R1 para fin de año. La arquitectura de flujo de datos reconfigurable de SambaNova ofrece una solución más eficiente, entregando tres veces la velocidad y cinco veces la eficiencia de las GPU líderes. DeepSeek-R1 ahora está disponible en SambaNova Cloud, con acceso API ofrecido a usuarios selectos.