Опрос, проведенный среди ученых из множества глобальных учреждений, показывает, что многие университетские исследователи испытывают разочарование из-за ограниченных вычислительных ресурсов, доступных для исследований в области искусственного интеллекта (ИИ).
Согласно отчетам, недоступность современных вычислительных систем может затруднить их способность разрабатывать крупные языковые модели и проводить другие исследования в области ИИ.
В частности, исследователи в академической среде часто не имеют достаточного доступа к мощным графическим процессорам (GPU), которые необходимы для обучения моделей ИИ и могут стоить тысячи долларов. Напротив, исследователи в крупных технологических компаниях, как правило, имеют более высокие бюджеты для инвестиций в GPU.
“Каждый дополнительный GPU увеличивает вычислительную мощность,” заявил Apoorv Khandelwal, ученый в области информатики в Университете Брауна и один из авторов исследования. “У гигантов отрасли может быть тысячи GPU, тогда как в академической среде их может быть всего несколько.”
Стелла Бидерман, исполнительный директор некоммерческой организации по исследованию ИИ EleutherAI, отметила: “Разрыв между академией и промышленностью значителен, но он должен быть гораздо меньше. Исследование этой диспропорции очень важно.”
Чтобы оценить доступные в академии вычислительные ресурсы, Канделвал и его коллеги опросили 50 исследователей из 35 учреждений. Среди респондентов 66% оценили свою удовлетворенность вычислительной мощностью на уровне 3 или ниже по шкале от 5, что указывает на широкое недовольство.
Университеты имеют разные настройки доступа к GPU. Некоторые могут иметь центральный вычислительный кластер, которым делятся факультеты и студенты, где исследователи могут запрашивать время использования GPU. Другие учреждения могут приобретать машины для непосредственного использования членами лаборатории.
Некоторые исследователи сообщили, что им приходилось ждать дни, чтобы получить доступ к GPU, и отметили, что время ожидания особенно велико вокруг сроков проектов.
Результаты также подчеркивают глобальные различия в доступе. Один из респондентов упомянул о трудностях поиска GPU на Ближнем Востоке. Только 10% респондентов указали, что имеют доступ к GPU H100 от NVIDIA, мощному чипу, разработанному для исследований в области ИИ.
Это препятствие значительно усложняет процесс предварительного обучения, который включает ввод огромных наборов данных в крупные языковые модели. “Из-за высоких затрат большинство ученых даже не осмеливаются заниматься исследованиями в области предварительного обучения,” отметил Канделвал, подчеркивая, что нехватка вычислительных мощностей может серьезно ограничить будущее развитие этой области.
“Для долгосрочного прогресса крайне важно иметь здоровую и конкурентоспособную академическую исследовательскую среду,” сказала Элли Павлик, ученая в области информатики и лингвистики в Университете Брауна и еще один автор исследования. “В отличие от этого, в промышленной исследовательской деятельности часто возникают значительные коммерческие давления, что иногда приводит к спешке в получении результатов и снижению исследования неизведанных областей.”
Команда также исследовала, как исследователи могут более эффективно использовать ограниченные вычислительные ресурсы. Они рассчитали время, необходимое для предварительного обучения нескольких крупных языковых моделей в условиях низких ресурсов, используя от 1 до 8 GPU. Несмотря на ограничения ресурсов, исследователи успешно обучили несколько моделей, хотя этот процесс занял больше времени и потребовал более эффективных методов.