Nuevo estudio desafía las capacidades de aprendizaje de los modelos de lenguaje de IA

Editado por: Elena Weismann

Aprender un idioma puede parecer simple, ya que los bebés de todo el mundo dominan esta tarea en pocos años. Sin embargo, comprender los procesos que permiten este aprendizaje es mucho más complejo.

Aunque los lingüistas han propuesto teorías elaboradas, los avances recientes en aprendizaje automático han introducido una nueva perspectiva, generando intensos debates entre académicos y desarrolladores de inteligencia artificial (IA).

Los modelos de lenguaje, como ChatGPT, están diseñados para predecir palabras y formar oraciones coherentes a partir de grandes bases de datos textuales. Sin embargo, los expertos afirman que esto no significa que estén “aprendiendo” un idioma de la misma manera que los humanos.

“Incluso si hacen algo que se asemeja a lo que hace un humano, pueden estar haciéndolo por razones completamente diferentes”, dijo Tal Linzen, lingüista computacional de la Universidad de Nueva York, en una entrevista.

Esta diferencia no es solo una cuestión de semántica. Si los modelos realmente aprenden lenguas, puede ser necesario reformular teorías lingüísticas tradicionales. Por otro lado, si los modelos solo están simulando superficialmente el aprendizaje, el aprendizaje automático puede no ofrecer conocimientos significativos para la lingüística.

Noam Chomsky, una de las figuras más destacadas de la lingüística, ha criticado notablemente esta tecnología. En un artículo de opinión publicado en 2023 en The New York Times, Chomsky argumentó que los modelos de lenguaje no tienen relevancia para la lingüística, afirmando que pueden aprender incluso “lenguas imposibles”, aquellas con reglas gramaticales que no existen en ningún idioma humano conocido.

Esta crítica fue desafiada por un grupo de lingüistas computacionales en un estudio innovador presentado en la conferencia de 2024 de la Asociación de Lingüística Computacional.

El trabajo, titulado “Mission: Impossible Language Models”, publicado en el servidor de preimpresión ArXiv, mostró que los modelos de lenguaje tienen más dificultades para aprender lenguas imposibles que lenguas humanas.

Adele Goldberg, lingüista de la Universidad de Princeton, elogió el estudio: “Es absolutamente oportuno e importante.”

A lo largo del siglo XX, la lingüística pasó de catalogar idiomas a intentar comprender la estructura universal detrás de ellos. Chomsky lideró este movimiento al proponer que los humanos poseen una capacidad innata y especializada para procesar lenguas. Esta habilidad innata explicaría, por ejemplo, por qué algunas reglas gramaticales nunca aparecen en idiomas humanos.

Según Chomsky, si el aprendizaje de lenguas fuera como otros tipos de aprendizaje, no habría preferencia por ciertas reglas gramaticales. Sin embargo, la existencia de un sistema especializado justificaría esta predisposición.

“No tiene sentido decir que los humanos tienen predisposición para aprender ciertas cosas sin reconocer que también tienen predisposición para no aprender otras”, afirmó Tim Hunter, lingüista de la Universidad de California, en Los Ángeles.

Los experimentos recientes con lenguas imposibles han traído resultados fascinantes. En 2020, Jeff Mitchell y Jeffrey Bowers crearon tres lenguas artificiales con reglas gramaticales bizarras para probar la capacidad de los modelos. Los resultados indicaron que los modelos podían aprender estas lenguas casi tan bien como el inglés.

Sin embargo, en 2023, Julie Kallini, estudiante de posgrado de la Universidad de Stanford, decidió probar esta hipótesis con los modernos modelos basados en transformadores. Su equipo creó 12 lenguas imposibles, incluidas variaciones como frases invertidas o reglas de concordancia verbal basadas en caracteres posicionados cuatro palabras después del verbo.

Los modelos enfrentaron dificultades para aprender estas lenguas artificiales, confirmando que, aunque poderosos, no son omnipotentes. Como era de esperar, aprenden patrones más cercanos a las lenguas humanas con mayor facilidad.

Los resultados indican que los modelos de lenguaje tienen preferencias por ciertos patrones lingüísticos, similares a los humanos, pero no idénticos. Esto abre caminos para nuevas investigaciones. “Eso es lo que realmente me gusta del artículo”, dijo Ryan Nefdt, filósofo de la ciencia cognitiva. “Abre tantas posibilidades de investigación.”

El equipo de Kallini ya está trabajando en un estudio de seguimiento, llamado informalmente “Mission: Impossible 2”. El objetivo es explorar cómo las alteraciones en las redes neuronales pueden mejorar o dificultar el aprendizaje de patrones imposibles.

El debate sobre el papel de los modelos de lenguaje en la lingüística está lejos de terminar, pero una cosa es cierta: la colaboración entre humanos y máquinas tiene el potencial de desentrañar los misterios del aprendizaje lingüístico y transformar nuestra comprensión sobre la capacidad más fundamental de la humanidad: el lenguaje.

¿Encontró un error o inexactitud?

Consideraremos sus comentarios lo antes posible.