Вычислительные лингвисты на протяжении шести десятилетий исследовали различные методы моделирования языка, и недавно нашли потенциальные ответы с использованием больших языковых моделей (LLM), таких как ChatGPT. Ранние подходы, основанные на формальных грамматиках Ноама Хомского и жесткой семантике, сталкивались с трудностями из-за текучей природы значения. В 1990-х годах появились статистические модели, основанные на n-граммах, которые описывали язык через вероятности совместного появления слов. Например, "io vedo" (я вижу) встречается чаще, чем "io casa" (я дом). Эти модели автоматизировали лингвистический анализ, но сводили значение к близости слов.
Появление LLM, основанных на трансформерных сетях, стало революцией. Такие модели обучаются, предсказывая следующее слово в предложении, и этот процесс повторяется на огромных объемах текста из интернета. Это позволяет им не только предсказывать слова, но и генерировать продолжения текста. LLM также позволили провести масштабный статистический анализ частот слов, что раскрыло фрактальную природу языка.
Как и фракталы, язык демонстрирует самоподобие на разных уровнях: свойства, такие как связность, проявляются в словах, предложениях и целых текстах. Долгосрочные корреляции связывают далекие слова или параграфы на семантическом уровне. Успех LLM объясняется их способностью обобщать локальную информацию и моделировать неявное знание, которое, по определению Майкла Полани, приобретается через опыт.
Сегодня лингвисты признают человеческий язык хаотичным и сложным явлением, а LLM стали инструментом для изучения его тонкостей.