Les modèles ChatGPT révèlent la nature fractale du langage humain

Les linguistes computationnels ont exploré diverses méthodes de modélisation du langage au cours des six dernières décennies, trouvant récemment des réponses potentielles grâce aux grands modèles de langage (LLM) comme ChatGPT. Les premières approches utilisaient les grammaires formelles de Noam Chomsky et la sémantique rigide, qui avaient du mal avec la nature fluide du sens. Les années 1990 ont vu l'introduction de modèles statistiques basés sur les n-grammes, décrivant le langage via les probabilités de cooccurrence des mots. Par exemple, « io vedo » [je vois] est plus fréquent que « io casa » [je maison]. Ces modèles ont automatisé l'analyse linguistique, mais ont réduit le sens à la proximité des mots. L'avènement des LLM, basés sur des réseaux de transformateurs, a marqué une révolution. Les LLM apprennent en prédisant le mot suivant dans une phrase, un processus répété sur l'ensemble du texte du web. Cela leur permet de prédire des mots et de générer des continuations de texte. Les LLM ont facilité l'analyse statistique à grande échelle des fréquences de mots, révélant la nature fractale du langage. Comme les fractales, le langage présente une auto-similarité à différentes échelles, avec des propriétés comme la cohérence apparaissant dans les mots, les phrases et les textes entiers. Les corrélations à longue portée relient sémantiquement des mots ou des paragraphes distants. Les LLM réussissent grâce à leur capacité à généraliser les informations locales et à modéliser les connaissances tacites, telles que définies par Michael Polanyi, acquises par l'expérience. Les linguistes reconnaissent désormais le langage humain comme un phénomène chaotique et complexe, les LLM servant d'outils pour étudier ses complexités.