Une recherche récente menée par cinq linguistes computationnels a testé l'affirmation de Noam Chomsky concernant les modèles de langue et leur capacité à apprendre des langues 'impossibles'. Chomsky avait soutenu que ces modèles pouvaient facilement maîtriser des langues régies par des règles distinctes de celles de n'importe quelle langue humaine connue.
L'étude, intitulée 'Mission : Impossible Language Models', a reçu le prix du meilleur article lors de la conférence 2024 de l'Association for Computational Linguistics. Les auteurs ont constaté que les modèles de langue avaient plus de difficultés avec ces langues impossibles par rapport à l'anglais standard.
Adele Goldberg, linguiste de l'Université de Princeton, a salué l'article comme 'absolument opportun et important', suggérant que de tels modèles pourraient aider les chercheurs à comprendre le babillage des nourrissons.
Les théories de Chomsky, qui ont gagné en importance au milieu du XXe siècle, proposaient que les humains possèdent un mécanisme mental inné pour le traitement du langage, expliquant l'absence de certaines règles grammaticales dans les langues connues. Il a soutenu que si l'apprentissage du langage était semblable à d'autres types d'apprentissage, il ne favoriserait pas certaines règles grammaticales par rapport à d'autres.
En revanche, les expériences récentes de Mitchell et Bowers en 2020 ont montré que les modèles de langue pouvaient apprendre des langues impossibles avec une précision surprenante. Cependant, Kallini, une étudiante diplômée de l'Université de Stanford, a cherché à enquêter davantage sur les affirmations de Chomsky en utilisant des modèles de transformateurs modernes, qui sont prévalents dans le traitement actuel des langues.
L'équipe de Kallini a créé une douzaine de langues impossibles en manipulant des textes en anglais, observant que les modèles formés sur ces langues s'amélioraient avec le temps mais rencontraient toujours des défis par rapport à ceux formés sur l'anglais standard.
Cette recherche indique que les modèles de langue présentent des préférences dans l'apprentissage de certains schémas linguistiques, parallèles aux tendances humaines, mais ne les reflètent pas nécessairement. Les résultats suggèrent une interaction complexe entre les réseaux neuronaux et l'acquisition du langage humain.
Alors que les chercheurs continuent d'explorer ces dynamiques, l'étude ouvre des avenues pour de nouvelles investigations sur la nature de l'apprentissage des langues et les capacités de l'intelligence artificielle à traiter des structures linguistiques complexes.