SambaNova Đạt Tốc Độ Kỷ Lục với Triển Khai Mô Hình AI DeepSeek-R1

SambaNova Systems đã công bố triển khai nhanh nhất thế giới mô hình ngôn ngữ lớn DeepSeek-R1 671B. Công ty đã đạt được 198 mã thông báo mỗi giây trên mỗi người dùng chỉ bằng cách sử dụng 16 chip tùy chỉnh, thay thế 40 giá đỡ gồm 320 GPU Nvidia thường được yêu cầu. Theo SambaNova, chip SN40L RDU của họ làm cho nền tảng của họ trở thành nền tảng nhanh nhất để chạy DeepSeek. Họ dự đoán sẽ tăng tốc độ lên gấp năm lần so với tốc độ GPU mới nhất trên một giá đỡ duy nhất và cung cấp dung lượng gấp 100 lần cho DeepSeek-R1 vào cuối năm. Kiến trúc luồng dữ liệu có thể cấu hình lại của SambaNova cung cấp một giải pháp hiệu quả hơn, mang lại tốc độ gấp ba lần và hiệu quả gấp năm lần so với GPU hàng đầu. DeepSeek-R1 hiện có sẵn trên SambaNova Cloud, với quyền truy cập API được cung cấp cho những người dùng được chọn.