ChatGPTモデルが人間の言語のフラクタルな性質を明らかにする

計算言語学者は、60年以上にわたり言語をモデル化するためのさまざまな方法を模索してきました。最近では、ChatGPTのような大規模言語モデル（LLM）を使用して、潜在的な答えを見つけています。初期のアプローチでは、ノーム・チョムスキーの形式文法と、意味の流動的な性質に苦労した厳格な意味論を使用しました。1990年代には、単語の共起確率を通じて言語を記述する、n-グラムに基づく統計モデルが導入されました。たとえば、「io vedo」[私は見る]は「io casa」[私は家]よりも頻繁です。これらのモデルは言語分析を自動化しましたが、意味を単語の近さに縮小しました。 トランスフォーマーネットワークに基づくLLMの出現は、革命をもたらしました。LLMは、文中の次の単語を予測することで学習します。このプロセスは、Webテキスト全体で繰り返されます。これにより、単語を予測し、テキストの続きを生成できます。LLMは、単語の頻度の大規模な統計分析を容易にし、言語のフラクタルな性質を明らかにしました。フラクタルと同様に、言語は異なるスケールで自己相似性を示し、単語、文、およびテキスト全体に一貫性などのプロパティが現れます。長距離相関は、遠く離れた単語や段落を意味的に接続します。LLMは、ローカル情報を一般化し、マイケル・ポランニーによって定義されたように、経験を通じて獲得された暗黙の知識をモデル化する能力があるため成功します。言語学者は現在、人間の言語を混沌とした複雑な現象として認識しており、LLMはその複雑さを研究するためのツールとして役立っています。