SambaNova 透過 DeepSeek-R1 AI 模型部署實現創紀錄的速度

SambaNova Systems 宣布了 DeepSeek-R1 671B 大型語言模型的全球最快部署。該公司僅使用 16 個客製化晶片就實現了每用戶每秒 198 個令牌，取代了通常需要的 40 個機架的 320 個 Nvidia GPU。根據 SambaNova 的說法，他們的 SN40L RDU 晶片使他們的平台成為運行 DeepSeek 的最快平台。他們預計將速度提高到單個機架上最新 GPU 速度的五倍，並在年底前為 DeepSeek-R1 提供 100 倍的容量。 SambaNova 的可重構資料流架構提供了一種更高效的解決方案，可提供領先 GPU 的三倍速度和五倍效率。 DeepSeek-R1 現已在 SambaNova Cloud 上提供，並為選定用戶提供 API 訪問。