ChatGPT-Modelle enthüllen fraktale Natur der menschlichen Sprache

Computerlinguisten haben über sechs Jahrzehnte verschiedene Methoden zur Modellierung von Sprache erforscht und kürzlich mithilfe von Large Language Models (LLMs) wie ChatGPT potenzielle Antworten gefunden. Anfängliche Ansätze verwendeten Noam Chomskys formale Grammatiken und starre Semantik, die mit der fließenden Natur der Bedeutung zu kämpfen hatten. In den 1990er Jahren wurden statistische Modelle auf Basis von n-Grammen eingeführt, die Sprache über Wahrscheinlichkeiten des gemeinsamen Auftretens von Wörtern beschrieben. Zum Beispiel ist „io vedo“ [ich sehe] häufiger als „io casa“ [ich Haus]. Diese Modelle automatisierten die linguistische Analyse, reduzierten aber die Bedeutung auf die Nähe von Wörtern. Das Aufkommen von LLMs, basierend auf Transformer-Netzwerken, markierte eine Revolution. LLMs lernen, indem sie das nächste Wort in einem Satz vorhersagen, ein Prozess, der im gesamten Webtext wiederholt wird. Dies ermöglicht es ihnen, Wörter vorherzusagen und Textfortsetzungen zu generieren. LLMs haben die groß angelegte statistische Analyse von Worthäufigkeiten erleichtert und die fraktale Natur der Sprache offenbart. Wie Fraktale weist Sprache Selbstähnlichkeit auf verschiedenen Ebenen auf, wobei Eigenschaften wie Kohärenz in Wörtern, Sätzen und ganzen Texten auftreten. Langstreckenkorrelationen verbinden entfernte Wörter oder Absätze semantisch. LLMs sind erfolgreich, weil sie lokale Informationen verallgemeinern und stillschweigendes Wissen modellieren können, wie es von Michael Polanyi definiert wurde und durch Erfahrung erworben wird. Linguisten erkennen die menschliche Sprache nun als ein chaotisches, komplexes Phänomen, wobei LLMs als Werkzeuge dienen, um ihre Feinheiten zu untersuchen.