SambaNova Mencapai Kecepatan Rekor dengan Penerapan Model AI DeepSeek-R1

SambaNova Systems mengumumkan penerapan tercepat di dunia dari model bahasa besar DeepSeek-R1 671B. Perusahaan mencapai 198 token per detik per pengguna hanya dengan menggunakan 16 chip khusus, menggantikan 40 rak berisi 320 GPU Nvidia yang biasanya diperlukan. Menurut SambaNova, chip SN40L RDU mereka menjadikan platform mereka yang tercepat untuk menjalankan DeepSeek. Mereka mengantisipasi peningkatan kecepatan hingga lima kali lebih cepat dari kecepatan GPU terbaru pada satu rak dan menawarkan 100 kali kapasitas untuk DeepSeek-R1 pada akhir tahun. Arsitektur aliran data yang dapat dikonfigurasi ulang dari SambaNova menawarkan solusi yang lebih efisien, memberikan tiga kali kecepatan dan lima kali efisiensi GPU terkemuka. DeepSeek-R1 sekarang tersedia di SambaNova Cloud, dengan akses API ditawarkan kepada pengguna terpilih.