ChatGPT模型揭示人类语言的分形本质

六十年来，计算语言学家探索了各种语言建模方法，最近使用 ChatGPT 等大型语言模型 (LLM) 找到了潜在的答案。最初的方法使用诺姆·乔姆斯基的形式语法和僵化的语义，这些方法难以处理意义的流动性。 20 世纪 90 年代，人们引入了基于 n 元语法的统计模型，通过单词共现的概率来描述语言。例如，“io vedo”[我看到] 比“io casa”[我房子] 更频繁。这些模型使语言分析自动化，但将意义简化为单词邻近度。 基于 Transformer 网络的 LLM 的出现标志着一场革命。 LLM 通过预测句子中的下一个单词来学习，这个过程在整个网络文本中重复进行。这使他们能够预测单词并生成文本延续。 LLM 促进了单词频率的大规模统计分析，揭示了语言的分形本质。与分形一样，语言在不同的尺度上表现出自我相似性，一致性等属性出现在单词、句子和整个文本中。远距离相关性在语义上连接了遥远的单词或段落。 LLM 的成功归功于它们概括本地信息和建模隐性知识的能力，正如迈克尔·波兰尼所定义的那样，这些知识是通过经验获得的。语言学家现在认识到人类语言是一种混乱而复杂的现象，LLM 作为研究其复杂性的工具。