Apprendre une langue peut sembler simple, car les bébés du monde entier maîtrisent cette tâche en quelques années. Cependant, comprendre les processus permettant cet apprentissage est beaucoup plus complexe.
Alors que les linguistes ont proposé des théories élaborées, les récentes avancées en apprentissage automatique ont introduit une nouvelle perspective, suscitant des débats intenses parmi les chercheurs et les développeurs d'intelligence artificielle (IA).
Les modèles de langue, tels que ChatGPT, sont conçus pour prédire des mots et former des phrases cohérentes à partir de vastes bases de données textuelles. Cependant, les experts affirment que cela ne signifie pas qu'ils apprennent une langue de la même manière que les humains.
« Même s'ils font quelque chose qui ressemble au comportement humain, ils pourraient le faire pour des raisons complètement différentes », a déclaré Tal Linzen, linguiste computationnel à l'Université de New York, lors d'une interview.
Cette distinction n'est pas simplement sémantique. Si ces modèles apprennent réellement des langues, cela pourrait nécessiter une reconsidération des théories linguistiques traditionnelles. En revanche, s'ils ne simulent qu'en surface l'apprentissage, l'apprentissage automatique pourrait ne pas fournir d'informations significatives pour la linguistique.
Noam Chomsky, figure éminente de la linguistique, a critiqué cette technologie. Dans un article d'opinion publié en 2023 dans le New York Times, Chomsky a soutenu que les modèles de langue n'ont aucune pertinence pour la linguistique, affirmant qu'ils peuvent apprendre même des « langues impossibles », c'est-à-dire celles dont les règles grammaticales n'existent dans aucune langue humaine connue.
Cette critique a été contestée par un groupe de linguistes computationnels dans une étude innovante présentée à la conférence de 2024 de l'Association de linguistique computationnelle.
Le travail, intitulé « Mission : Modèles de Langue Impossibles », publié sur le serveur de préimpression ArXiv, a démontré que les modèles de langue ont plus de difficultés à apprendre des langues impossibles que des langues humaines.
Adele Goldberg, linguiste à l'Université de Princeton, a salué l'étude : « C'est absolument opportun et important. »
Au cours du XXe siècle, la linguistique a évolué d'un catalogage des langues à une tentative de compréhension de la structure universelle qui les sous-tend. Chomsky a dirigé ce mouvement en proposant que les humains possèdent une capacité innée et spécialisée pour traiter les langues. Cette capacité innée expliquerait pourquoi certaines règles grammaticales n'apparaissent jamais dans les langues humaines.
Selon Chomsky, si l'apprentissage des langues était semblable à d'autres types d'apprentissage, il n'y aurait pas de préférence pour certaines règles grammaticales. Cependant, l'existence d'un système spécialisé justifierait cette prédisposition.
« Il n'est pas logique de dire que les humains ont une prédisposition à apprendre certaines choses sans reconnaître qu'ils ont également une prédisposition à ne pas apprendre d'autres », a affirmé Tim Hunter, linguiste à l'Université de Californie, à Los Angeles.
Des expériences récentes avec des langues impossibles ont produit des résultats fascinants. En 2020, Jeff Mitchell et Jeffrey Bowers ont créé trois langues artificielles avec des règles grammaticales bizarres pour tester les capacités des modèles. Les résultats ont indiqué que les modèles pouvaient apprendre ces langues presque aussi bien que l'anglais.
Cependant, en 2023, Julie Kallini, étudiante diplômée à l'Université de Stanford, a décidé de tester cette hypothèse avec des modèles modernes basés sur des transformateurs. Son équipe a créé 12 langues impossibles, y compris des variations telles que des phrases inversées ou des règles d'accord verbal basées sur des caractères positionnés quatre mots après le verbe.
Les modèles ont rencontré des difficultés à apprendre ces langues artificielles, confirmant que, bien qu'ils soient puissants, ils ne sont pas omnipotents. Comme prévu, ils apprennent plus facilement des motifs plus proches des langues humaines.
Les résultats suggèrent que les modèles de langue ont des préférences pour certains motifs linguistiques, similaires mais non identiques à ceux des humains. Cela ouvre des voies pour de nouvelles investigations. « C'est ce que j'aime vraiment dans cet article », a déclaré Ryan Nefdt, philosophe des sciences cognitives. « Il ouvre tant de possibilités de recherche. »
L'équipe de Kallini travaille déjà sur une étude de suivi, informellement appelée « Mission : Impossible 2 ». L'objectif est d'explorer comment des modifications dans les réseaux neuronaux peuvent améliorer ou entraver l'apprentissage de motifs impossibles.
Le débat sur le rôle des modèles de langue en linguistique est loin d'être terminé, mais une chose est certaine : la collaboration entre humains et machines a le potentiel de percer les mystères de l'apprentissage linguistique et de transformer notre compréhension de la capacité la plus fondamentale de l'humanité : le langage.