Une enquête menée auprès de chercheurs de nombreuses institutions mondiales indique que de nombreux chercheurs universitaires se sentent frustrés par les ressources informatiques limitées disponibles pour la recherche en intelligence artificielle (IA).
Selon des rapports, l'inaccessibilité des systèmes informatiques de pointe peut entraver leur capacité à développer de grands modèles de langage et à mener d'autres recherches en IA.
En particulier, les chercheurs du milieu universitaire manquent souvent d'accès suffisant à des unités de traitement graphique (GPU) puissantes, essentielles pour former des modèles d'IA et pouvant coûter des milliers de dollars. En revanche, les chercheurs des grandes entreprises technologiques disposent généralement de budgets plus élevés pour investir dans des GPU.
“Chaque GPU supplémentaire augmente la puissance de calcul,” a déclaré Apoorv Khandelwal, un informaticien de l'Université de Brown et l'un des auteurs de l'étude. “Les géants de l'industrie peuvent avoir des milliers de GPU, tandis que le milieu académique n'en a peut-être que quelques-uns.”
Stella Biderman, directrice exécutive de l'organisation de recherche en IA à but non lucratif EleutherAI, a déclaré : “L'écart entre le milieu académique et l'industrie est significatif, mais il devrait être beaucoup plus petit. La recherche sur cette disparité est très importante.”
Pour évaluer les ressources informatiques disponibles pour le milieu académique, Khandelwal et ses collègues ont interrogé 50 chercheurs de 35 institutions. Parmi les répondants, 66 % ont évalué leur satisfaction concernant la puissance de calcul à 3 ou moins sur une échelle de 5, indiquant une insatisfaction généralisée.
Les universités ont des configurations variées pour l'accès aux GPU. Certaines peuvent avoir un cluster informatique central partagé par des départements et des étudiants, où les chercheurs peuvent demander du temps GPU. D'autres institutions peuvent acheter des machines pour un usage direct par les membres du laboratoire.
Certaines chercheurs ont rapporté avoir dû attendre des jours pour accéder aux GPU, notant que les temps d'attente sont particulièrement longs autour des délais de projet.
Les résultats soulignent également les disparités mondiales en matière d'accès. Un répondant a mentionné la difficulté de trouver des GPU au Moyen-Orient. Seulement 10 % des répondants ont indiqué avoir accès au GPU H100 de NVIDIA, une puissante puce conçue pour la recherche en IA.
Cette barrière complique considérablement le processus de pré-entraînement, qui implique l'entrée de vastes ensembles de données dans de grands modèles de langage. “En raison des coûts élevés, la plupart des chercheurs n'osent pas s'aventurer dans la recherche sur le pré-entraînement,” a noté Khandelwal, soulignant que la pénurie de puissance de calcul pourrait sérieusement contraindre les développements futurs dans ce domaine.
“Pour un progrès à long terme, il est crucial d'avoir un environnement de recherche académique sain et compétitif,” a déclaré Ellie Pavlick, une chercheuse en informatique et linguistique à l'Université de Brown et une autre auteure de l'étude. “En revanche, la recherche industrielle est souvent confrontée à des pressions commerciales significatives, ce qui peut parfois conduire à une précipitation des résultats, réduisant l'exploration des domaines inconnus.”
L'équipe a également exploré comment les chercheurs peuvent utiliser plus efficacement des ressources informatiques limitées. Ils ont calculé le temps nécessaire pour pré-entraîner plusieurs grands modèles de langage dans des environnements matériels à faibles ressources utilisant de 1 à 8 GPU. Malgré les contraintes de ressources, les chercheurs ont réussi à former plusieurs modèles, bien que le processus ait pris plus de temps et nécessite des méthodes plus efficaces.