Modelos ChatGPT Revelam Natureza Fractal da Linguagem Humana

Linguistas computacionais exploraram vários métodos para modelar a linguagem ao longo de seis décadas, encontrando recentemente respostas potenciais usando Modelos de Linguagem Grandes (LLMs) como o ChatGPT. As abordagens iniciais usaram as gramáticas formais de Noam Chomsky e a semântica rígida, que lutavam com a natureza fluida do significado. Na década de 1990, foram introduzidos modelos estatísticos baseados em n-gramas, descrevendo a linguagem por meio de probabilidades de coocorrência de palavras. Por exemplo, "io vedo" [eu vejo] é mais frequente do que "io casa" [eu casa]. Esses modelos automatizaram a análise linguística, mas reduziram o significado à proximidade das palavras. O advento dos LLMs, baseados em redes transformadoras, marcou uma revolução. Os LLMs aprendem prevendo a próxima palavra em uma frase, um processo repetido em todo o texto da web. Isso permite que eles prevejam palavras e gerem continuações de texto. Os LLMs facilitaram a análise estatística em grande escala das frequências de palavras, revelando a natureza fractal da linguagem. Como os fractais, a linguagem exibe autossimilaridade em diferentes escalas, com propriedades como coerência aparecendo em palavras, frases e textos inteiros. Correlações de longo alcance conectam palavras ou parágrafos distantes semanticamente. Os LLMs são bem-sucedidos devido à sua capacidade de generalizar informações locais e modelar o conhecimento tácito, conforme definido por Michael Polanyi, adquirido por meio da experiência. Os linguistas agora reconhecem a linguagem humana como um fenômeno caótico e complexo, com os LLMs servindo como ferramentas para estudar suas complexidades.