ChatGPT Modelleri İnsan Dilinin Fraktal Doğasını Ortaya Çıkarıyor

Bilgisayar dilbilimcileri, altmış yılı aşkın bir süredir dili modellemek için çeşitli yöntemler keşfettiler ve son zamanlarda ChatGPT gibi Büyük Dil Modelleri (LLM'ler) kullanarak potansiyel cevaplar buldular. İlk yaklaşımlar, Noam Chomsky'nin biçimsel gramerlerini ve anlamın akışkan doğasıyla mücadele eden katı semantiği kullandı. 1990'larda, kelime birlikte oluşma olasılıkları yoluyla dili tanımlayan n-gramlara dayalı istatistiksel modellerin tanıtımı görüldü. Örneğin, "io vedo" [görüyorum] ifadesi, "io casa" [ben ev] ifadesinden daha sıktır. Bu modeller dilbilimsel analizi otomatik hale getirdi, ancak anlamı kelime yakınlığına indirgedi. Transformatör ağlarına dayalı LLM'lerin gelişi, bir devrim yarattı. LLM'ler, bir cümledeki bir sonraki kelimeyi tahmin ederek öğrenirler; bu işlem web metninde tekrarlanır. Bu, kelimeleri tahmin etmelerini ve metin devamlılıkları oluşturmalarını sağlar. LLM'ler, kelime sıklıklarının geniş ölçekli istatistiksel analizini kolaylaştırarak dilin fraktal doğasını ortaya çıkardı. Fraktallar gibi, dil de farklı ölçeklerde kendi kendine benzerlik sergiler; tutarlılık gibi özellikler kelimelerde, cümlelerde ve tüm metinlerde görünür. Uzun menzilli korelasyonlar, uzak kelimeleri veya paragrafları semantik olarak birbirine bağlar. LLM'ler, yerel bilgileri genelleştirme ve Michael Polanyi tarafından tanımlandığı gibi deneyim yoluyla edinilen örtük bilgiyi modelleme yetenekleri sayesinde başarılı olurlar. Dilbilimciler artık insan dilini kaotik, karmaşık bir fenomen olarak kabul ediyorlar ve LLM'ler de inceliklerini incelemek için araçlar olarak hizmet ediyor.