SambaNova 通过 DeepSeek-R1 AI 模型部署实现创纪录的速度

SambaNova Systems 宣布了 DeepSeek-R1 671B 大型语言模型的全球最快部署。该公司仅使用 16 个定制芯片就实现了每用户每秒 198 个令牌，取代了通常需要的 40 个机架的 320 个 Nvidia GPU。根据 SambaNova 的说法，他们的 SN40L RDU 芯片使他们的平台成为运行 DeepSeek 的最快平台。他们预计将速度提高到单个机架上最新 GPU 速度的五倍，并在年底前为 DeepSeek-R1 提供 100 倍的容量。 SambaNova 的可重构数据流架构提供了一种更高效的解决方案，可提供领先 GPU 的三倍速度和五倍效率。 DeepSeek-R1 现已在 SambaNova Cloud 上提供，并为选定用户提供 API 访问。