ChatGPT-modellen onthullen de fractale aard van de menselijke taal

Computationele taalkundigen hebben gedurende zes decennia verschillende methoden onderzocht om taal te modelleren, en hebben onlangs potentiële antwoorden gevonden met behulp van Large Language Models (LLM's) zoals ChatGPT. Initiële benaderingen gebruikten de formele grammatica's van Noam Chomsky en rigide semantiek, die worstelden met de vloeiende aard van betekenis. In de jaren negentig werden statistische modellen geïntroduceerd op basis van n-grammen, die taal beschrijven via waarschijnlijkheden van woordco-occurrentie. Bijvoorbeeld, "io vedo" [ik zie] komt vaker voor dan "io casa" [ik huis]. Deze modellen automatiseerden linguïstische analyse, maar reduceerden betekenis tot woordnabijheid. De komst van LLM's, gebaseerd op transformatornetwerken, markeerde een revolutie. LLM's leren door het volgende woord in een zin te voorspellen, een proces dat wordt herhaald in de hele webtekst. Dit stelt hen in staat om woorden te voorspellen en tekstvervolgingen te genereren. LLM's hebben grootschalige statistische analyse van woordfrequenties mogelijk gemaakt, waardoor de fractale aard van taal is onthuld. Net als fractalen vertoont taal zelfgelijkheid op verschillende schalen, met eigenschappen zoals coherentie die voorkomen in woorden, zinnen en hele teksten. Langeafstandscorrelaties verbinden verre woorden of paragrafen semantisch. LLM's zijn succesvol vanwege hun vermogen om lokale informatie te generaliseren en stilzwijgende kennis te modelleren, zoals gedefinieerd door Michael Polanyi, verworven door ervaring. Taalkundigen erkennen menselijke taal nu als een chaotisch, complex fenomeen, waarbij LLM's dienen als hulpmiddelen om de complexiteit ervan te bestuderen.