SambaNova、DeepSeek-R1 AIモデルの展開で記録的な速度を達成

SambaNova Systemsは、DeepSeek-R1 671B大規模言語モデルの世界最速の展開を発表しました。同社は、通常必要な320 Nvidia GPUの40ラックの代わりに、わずか16個のカスタムビルドチップを使用して、ユーザーあたり1秒あたり198トークンを達成しました。 SambaNovaによると、SN40L RDUチップにより、DeepSeekを実行するためのプラットフォームが最速になります。単一のラック上の最新のGPU速度よりも5倍速く速度を上げ、年末までにDeepSeek-R1の100倍の容量を提供することを見込んでいます。 SambaNovaの再構成可能なデータフローアーキテクチャは、より効率的なソリューションを提供し、主要なGPUの3倍の速度と5倍の効率を実現します。 DeepSeek-R1は現在SambaNova Cloudで利用可能であり、一部のユーザーにはAPIアクセスが提供されています。