চ্যাটজিপিটি মডেলগুলি মানুষের ভাষার ফ্র্যাক্টাল প্রকৃতি প্রকাশ করে

গত ছয় দশক ধরে, গণনামূলক ভাষাবিজ্ঞানীরা ভাষা মডেল করার জন্য বিভিন্ন পদ্ধতি অনুসন্ধান করেছেন, সম্প্রতি চ্যাটজিপিটি-র মতো বৃহৎ ভাষা মডেল (এলএলএম) ব্যবহার করে সম্ভাব্য উত্তর খুঁজে পেয়েছেন। প্রাথমিক পদ্ধতিগুলি নোয়াম চমস্কির আনুষ্ঠানিক ব্যাকরণ এবং অনমনীয় শব্দার্থবিদ্যা ব্যবহার করত, যা অর্থের তরল প্রকৃতির সাথে সংগ্রাম করত। 1990-এর দশকে, এন-গ্রামের উপর ভিত্তি করে পরিসংখ্যানগত মডেল চালু করা হয়েছিল, যা শব্দগুলির সহ-অস্তিত্বের সম্ভাবনার মাধ্যমে ভাষার বর্ণনা দেয়। উদাহরণস্বরূপ, "io vedo" [আমি দেখি] "io casa" [আমি বাড়ি] এর চেয়ে বেশি ঘন ঘন ঘটে। এই মডেলগুলি ভাষাগত বিশ্লেষণকে স্বয়ংক্রিয় করেছে, কিন্তু অর্থকে শব্দ সান্নিধ্যে কমিয়ে দিয়েছে। ট্রান্সফরমার নেটওয়ার্কের উপর ভিত্তি করে এলএলএম-এর আবির্ভাব একটি বিপ্লব চিহ্নিত করেছে। এলএলএম একটি বাক্যে পরবর্তী শব্দটি ভবিষ্যদ্বাণী করে শেখে, একটি প্রক্রিয়া যা পুরো ওয়েব টেক্সটে পুনরাবৃত্তি হয়। এটি তাদের শব্দ ভবিষ্যদ্বাণী করতে এবং পাঠ্য ধারাবাহিকতা তৈরি করতে সক্ষম করে। এলএলএম শব্দ ফ্রিকোয়েন্সিগুলির বৃহৎ আকারের পরিসংখ্যানগত বিশ্লেষণকে সহজতর করেছে, ভাষার ফ্র্যাক্টাল প্রকৃতি প্রকাশ করেছে। ফ্র্যাক্টালের মতো, ভাষা বিভিন্ন স্কেলে স্ব-সদৃশতা প্রদর্শন করে, যেখানে সংহতি শব্দের, বাক্য এবং সম্পূর্ণ পাঠ্যে প্রদর্শিত হয়। দীর্ঘ-পরিসরের সম্পর্ক দূরবর্তী শব্দ বা অনুচ্ছেদগুলিকে অর্থপূর্ণভাবে সংযুক্ত করে। এলএলএম স্থানীয় তথ্যকে সাধারণীকরণ এবং মাইকেল পোলানি দ্বারা সংজ্ঞায়িত অভিজ্ঞতা অর্জনের মাধ্যমে অর্জিত নীরব জ্ঞান মডেল করার ক্ষমতার কারণে সফল। ভাষাবিজ্ঞানীরা এখন মানুষের ভাষাকে একটি বিশৃঙ্খল, জটিল ঘটনা হিসাবে স্বীকৃতি দেন, এলএলএম এর জটিলতা অধ্যয়নের জন্য সরঞ্জাম হিসাবে কাজ করে।