Una encuesta realizada entre académicos de numerosas instituciones globales indica que muchos investigadores universitarios se sienten frustrados por los recursos informáticos limitados disponibles para la investigación en inteligencia artificial (IA).
Según informes, la inaccesibilidad de sistemas informáticos de vanguardia puede obstaculizar su capacidad para desarrollar grandes modelos de lenguaje y llevar a cabo otras investigaciones en IA.
Específicamente, los investigadores en el ámbito académico a menudo carecen de acceso suficiente a potentes unidades de procesamiento gráfico (GPU), que son esenciales para entrenar modelos de IA y pueden costar miles de dólares. En contraste, los investigadores de grandes empresas tecnológicas suelen tener presupuestos más altos para invertir en GPUs.
“Cada GPU adicional aumenta la potencia de cálculo,” declaró Apoorv Khandelwal, un científico informático de la Universidad de Brown y uno de los autores del estudio. “Los gigantes de la industria pueden tener miles de GPUs, mientras que la academia puede tener solo unas pocas.”
Stella Biderman, directora ejecutiva de la organización de investigación de IA sin fines de lucro EleutherAI, comentó: “La brecha entre la academia y la industria es significativa, pero debería ser mucho menor. La investigación sobre esta disparidad es muy importante.”
Para evaluar los recursos de computación disponibles en la academia, Khandelwal y sus colegas encuestaron a 50 investigadores de 35 instituciones. Entre los encuestados, el 66% calificó su satisfacción con la potencia de cálculo en 3 o menos en una escala de 5, lo que indica una insatisfacción generalizada.
Las universidades tienen configuraciones variadas para el acceso a GPUs. Algunas pueden tener un clúster de computación central compartido por departamentos y estudiantes, donde los investigadores pueden solicitar tiempo de GPU. Otras instituciones pueden comprar máquinas para el uso directo de los miembros del laboratorio.
Algunos investigadores informaron que debían esperar días para acceder a GPUs, señalando que los tiempos de espera son particularmente largos alrededor de las fechas límite de proyectos.
Los hallazgos también subrayan las disparidades globales en el acceso. Un encuestado mencionó la dificultad de encontrar GPUs en Medio Oriente. Solo el 10% de los encuestados indicó que tenía acceso a la GPU H100 de NVIDIA, un potente chip diseñado para la investigación en IA.
Este obstáculo complica enormemente el proceso de preentrenamiento, que implica ingresar vastos conjuntos de datos en grandes modelos de lenguaje. “Debido a los altos costos, la mayoría de los académicos ni siquiera se atreven a aventurarse en la investigación de preentrenamiento,” señaló Khandelwal, enfatizando que la escasez de potencia de cálculo podría restringir gravemente los desarrollos futuros en este campo.
“Para un progreso a largo plazo, es crucial tener un entorno de investigación académica saludable y competitivo,” dijo Ellie Pavlick, académica en informática y lingüística de la Universidad de Brown y otra autora del estudio. “En contraste, la investigación en la industria a menudo enfrenta presiones comerciales significativas, lo que a veces puede llevar a una prisa por obtener resultados y reducir la exploración de áreas desconocidas.”
El equipo también exploró cómo los investigadores pueden utilizar los recursos de computación limitados de manera más eficiente. Calculó el tiempo necesario para preentrenar múltiples grandes modelos de lenguaje en entornos de hardware de bajos recursos utilizando de 1 a 8 GPUs. A pesar de las limitaciones de recursos, los investigadores lograron entrenar múltiples modelos, aunque el proceso tomó más tiempo y requirió métodos más eficientes.