SambaNova osiąga rekordową prędkość dzięki wdrożeniu modelu AI DeepSeek-R1

SambaNova Systems ogłosiła najszybsze na świecie wdrożenie dużego modelu językowego DeepSeek-R1 671B. Firma osiągnęła 198 tokenów na sekundę na użytkownika, używając tylko 16 niestandardowych chipów, zastępując 40 szaf z 320 procesorami graficznymi Nvidia, które są zwykle wymagane. Według SambaNova, ich chip SN40L RDU sprawia, że ich platforma jest najszybsza do uruchamiania DeepSeek. Przewidują, że zwiększą prędkość do pięciu razy szybciej niż najnowsza prędkość GPU na jednej szafie i zaoferują 100 razy większą pojemność dla DeepSeek-R1 do końca roku. Rekonfigurowalna architektura przepływu danych SambaNova oferuje bardziej wydajne rozwiązanie, zapewniając trzykrotnie większą prędkość i pięciokrotnie większą wydajność wiodących procesorów graficznych. DeepSeek-R1 jest teraz dostępny w chmurze SambaNova, z dostępem do API oferowanym wybranym użytkownikom.