SambaNova, DeepSeek-R1 AI Model Dağıtımında Rekor Hıza Ulaştı

SambaNova Systems, DeepSeek-R1 671B büyük dil modelinin dünyadaki en hızlı dağıtımını duyurdu. Şirket, normalde gereken 320 Nvidia GPU'lu 40 rafın yerini alarak, yalnızca 16 özel yapım çip kullanarak kullanıcı başına saniyede 198 token elde etti. SambaNova'ya göre, SN40L RDU çipleri, platformlarını DeepSeek'i çalıştırmak için en hızlı hale getiriyor. Hızın, tek bir raftaki en son GPU hızından beş kat daha hızlı olmasını ve yıl sonuna kadar DeepSeek-R1 için 100 kat kapasite sunmayı bekliyorlar. SambaNova'nın yeniden yapılandırılabilir veri akışı mimarisi, önde gelen GPU'ların üç katı hızını ve beş katı verimliliğini sunarak daha verimli bir çözüm sunuyor. DeepSeek-R1 artık SambaNova Cloud'da mevcut ve belirli kullanıcılara API erişimi sunuluyor.