SambaNova досягає рекордної швидкості з розгортанням AI-моделі DeepSeek-R1

SambaNova Systems оголосила про найшвидше у світі розгортання великої мовної моделі DeepSeek-R1 671B. Компанія досягла 198 токенів на секунду на користувача, використовуючи лише 16 спеціалізованих чипів, замінивши 40 стійок з 320 графічними процесорами Nvidia, які зазвичай потрібні. За словами SambaNova, їх чип SN40L RDU робить їх платформу найшвидшою для запуску DeepSeek. Вони очікують збільшення швидкості в п'ять разів порівняно з останньою швидкістю графічного процесора на одній стійці та пропонують 100-кратну ємність для DeepSeek-R1 до кінця року. Реконфігурована архітектура потоку даних SambaNova пропонує більш ефективне рішення, забезпечуючи втричі більшу швидкість і вп'ятеро більшу ефективність, ніж провідні графічні процесори. DeepSeek-R1 тепер доступний у SambaNova Cloud, з доступом до API для обраних користувачів.