Моделі ChatGPT розкривають фрактальну природу людської мови

Обчислювальні лінгвісти досліджували різні методи моделювання мови протягом шести десятиліть, нещодавно знайшовши потенційні відповіді за допомогою великих мовних моделей (LLM), таких як ChatGPT. Початкові підходи використовували формальні граматики Ноама Хомського та жорстку семантику, які боролися з плинною природою значення. У 1990-х роках були введені статистичні моделі на основі n-грам, що описують мову через ймовірності спільної появи слів. Наприклад, «io vedo» [я бачу] зустрічається частіше, ніж «io casa» [я дім]. Ці моделі автоматизували лінгвістичний аналіз, але звели значення до близькості слів. Поява LLM, заснованих на мережах-трансформерах, ознаменувала революцію. LLM навчаються, передбачаючи наступне слово в реченні, процес, який повторюється у всьому веб-тексті. Це дозволяє їм передбачати слова та генерувати продовження тексту. LLM полегшили масштабний статистичний аналіз частоти слів, розкриваючи фрактальну природу мови. Як і фрактали, мова демонструє самоподібність у різних масштабах, при цьому такі властивості, як зв’язність, проявляються в словах, реченнях і цілих текстах. Далекі кореляції семантично пов’язують віддалені слова чи абзаци. LLM є успішними завдяки своїй здатності узагальнювати локальну інформацію та моделювати неявне знання, як це визначено Майклом Полані, набуте через досвід. Лінгвісти тепер визнають людську мову хаотичним, складним явищем, а LLM служать інструментами для вивчення її тонкощів.