Los insiders de la industria tecnológica comienzan a reconocer que el crecimiento de los modelos de lenguaje grandes (LLM) se está desacelerando, a pesar del aumento de datos y poder de cómputo.
En Silicon Valley, hay una creciente creencia de que los avances en inteligencia artificial (IA) no están a la altura de las expectativas anteriores, especialmente después del entusiasta lanzamiento de ChatGPT hace dos años. Inicialmente, los defensores creían que seguiría un crecimiento exponencial a medida que los gigantes tecnológicos invirtieran masivamente en recursos.
Sin embargo, los expertos ahora advierten que confiar únicamente en más datos y poder de cómputo puede no llevar a la esperada aparición de la inteligencia artificial general (AGI). Gary Marcus, un destacado crítico de la IA, declaró: "Las valoraciones astronómicas de empresas como OpenAI y Microsoft se basan en gran medida en la idea de que los LLM se convertirán en AGI si continúan expandiéndose. Esto es simplemente una tontería."
Un desafío significativo es la cantidad limitada de datos lingüísticos disponibles para entrenar modelos. Scott Stevenson, jefe de IA en Spellbook, señaló que centrarse exclusivamente en datos lingüísticos inevitablemente conducirá a un estancamiento.
Sasha Luccioni de Hugging Face argumentó que la obsesión de la industria por el tamaño sobre el propósito es un error fundamental. Ella comentó: "La búsqueda de AGI siempre ha sido irrealista, y el enfoque de 'más grande es mejor' tenía que llegar a un límite, que creo que estamos viendo ahora."
A pesar de estas preocupaciones, algunos en la industria sostienen que el progreso hacia una IA de nivel humano sigue siendo impredecible. Sam Altman, CEO de OpenAI, afirmó: "No hay muro", sin ampliar su declaración.
OpenAI ha pospuesto recientemente el lanzamiento de su esperado sucesor de GPT-4 debido a expectativas no cumplidas sobre sus capacidades. La empresa ahora se centra en optimizar las habilidades existentes en lugar de simplemente aumentar la entrada de datos.
Stevenson destacó que el cambio de OpenAI hacia la mejora del razonamiento en lugar de la expansión de datos ha llevado a mejoras significativas. Comparó la evolución de la IA con el descubrimiento del fuego, sugiriendo que es hora de utilizar los avances para tareas específicas en lugar de simplemente añadir más combustible.