ChatGPT 模型揭示人類語言的碎形本質

六十年來，計算語言學家探索了各種語言建模方法，最近使用 ChatGPT 等大型語言模型 (LLM) 找到了潛在的答案。最初的方法使用諾姆·喬姆斯基的形式語法和僵化的語義，這些方法難以處理意義的流動性。 20 世紀 90 年代，人們引入了基於 n 元語法的統計模型，透過單詞共現的機率來描述語言。例如，“io vedo”[我看到] 比“io casa”[我房子] 更頻繁。這些模型使語言分析自動化，但將意義簡化為單詞鄰近度。 基於 Transformer 網路的 LLM 的出現標誌著一場革命。 LLM 透過預測句子中的下一個單詞來學習，這個過程在整個網路文本中重複進行。這使他們能夠預測單詞並產生文本延續。 LLM 促進了單詞頻率的大規模統計分析，揭示了語言的碎形本質。與碎形一樣，語言在不同的尺度上表現出自我相似性，一致性等屬性出現在單詞、句子和整個文本中。遠距離相關性在語義上連接了遙遠的單詞或段落。 LLM 的成功歸功於它們概括本地信息和建模隱性知識的能力，正如邁克爾·波蘭尼所定義的那樣，這些知識是透過經驗獲得的。語言學家現在認識到人類語言是一種混亂而複雜的現象，LLM 作為研究其複雜性的工具。