২০২৫ সালের মে মাসে arXiv-এ একটি গবেষণাপত্র প্রকাশিত হয়, যেখানে MemQ নামক একটি সিস্টেমের বর্ণনা দেওয়া হয়েছে। এই সিস্টেমটি নির্দেশিত অ্যাসাইক্লিক প্রোভেন্যান্স গ্রাফ (provenance DAGs) ব্যবহার করে স্ব-বিবর্তনশীল মেমরি সম্পন্ন এজেন্টের সাথে Q-লার্নিংয়ের সমন্বয় ঘটায়। গবেষকরা এমন একটি মেকানিজম প্রস্তাব করেছেন যেখানে এজেন্ট কেবল তথ্য জমা রাখে না, বরং ডেটা এবং সিদ্ধান্তের উৎস ট্র্যাককারী গ্রাফ কাঠামোর মাধ্যমে কাজের গুরুত্ব বা ভ্যালু প্রতিনিয়ত আপডেট করে। এটি প্রথাগত LLM এজেন্টগুলোর মেমরি ব্যবস্থাপনা থেকে আলাদা, যেখানে সাধারণত কোনো কার্যকারণ সম্পর্ক ছাড়াই ভেক্টর ডেটাবেসে তথ্য সংরক্ষণ করা হয়।
প্রযুক্তিগতভাবে MemQ মেমরিকে একটি প্রোভেন্যান্স DAG হিসেবে উপস্থাপন করে, যার নোডগুলো স্টেট এবং অ্যাকশনের সাথে এবং এজগুলো উৎসের নির্ভরতার সাথে সম্পর্কিত। এখানে Q-লার্নিং কোনো সাধারণ টেবিলের পরিবর্তে সরাসরি গ্রাফের ওপর প্রয়োগ করা হয়: DAG টপোলজি অনুযায়ী Q-ভ্যালু আপডেট করা হয়, যা এজেন্টকে উৎসের পথের মাধ্যমে দীর্ঘমেয়াদী প্রভাবগুলো বিবেচনা করতে সাহায্য করে। লেখকরা মাল্টি-স্টেপ রিজনিং এবং ত্রুটি শনাক্তকরণের ক্ষেত্রে সাফল্যের কথা জানালেও, গ্রাফের ঘনত্বের প্রভাব নিয়ে বিস্তারিত কোনো বিশ্লেষণধর্মী পরীক্ষা বা অ্যাবেশন স্টাডি প্রদান করেননি।
গবেষণার পরীক্ষামূলক পদ্ধতিগুলো কিছু প্রশ্নের উদ্রেক করে। মূল্যায়ন প্রক্রিয়াটি মূলত কৃত্রিম কাজের ওপর ভিত্তি করে করা হয়েছে যেখানে ডেটার উৎস নিয়ন্ত্রিত, যা DAG তৈরি সহজ করলেও বাস্তব জগতের অগোছালো উৎসের ক্ষেত্রে এর স্কেলেবিলিটি নিয়ে প্রশ্ন থেকে যায়। গ্রাফ নিউরাল নেটওয়ার্ক বা ডিফারেনশিয়েবল মেমরি স্ট্রাকচার যেমন নিউরাল টুরিং মেশিন বা ডিফারেনশিয়েবল নিউরাল কম্পিউটারের সাথে এর কোনো তুলনা করা হয়নি। ফলে মেমরির অন্যান্য কাঠামোর তুলনায় DAG-এর ওপর Q-লার্নিং ঠিক কতটা সুবিধা দেয়, তা পরিমাপ করা কঠিন হয়ে পড়েছে।
পূর্ববর্তী গবেষণার প্রেক্ষাপটে, MemQ মূলত রিজনিংয়ের জন্য রিইনফোর্সমেন্ট লার্নিংয়ের সেই ধারণাগুলোকেই এগিয়ে নিয়ে যায় যা ডিপমাইন্ড এবং ওপেনএআই-এর চেইন-অফ-থট বা ট্রি-অফ-থট গবেষণায় দেখা গেছে। তবে সেই পদ্ধতিগুলোতে যেখানে স্থায়ী মেমরি ছাড়াই রিজনিং ট্রিতে অনুসন্ধান চালানো হয়, সেখানে MemQ এজেন্টের জীবনকাল জুড়ে গ্রাফটিকে সংরক্ষণ ও বিবর্তিত করে। এটি সিস্টেমটিকে লাইফলং লার্নিং এবং কন্টিনিউয়াল রিইনফোর্সমেন্ট লার্নিংয়ের কাছাকাছি নিয়ে আসে, তবে ভ্যালু আপডেটের প্রধান সংকেত হিসেবে প্রোভেন্যান্সের ওপর গুরুত্বারোপ করার ক্ষেত্রে এটি আলাদা।
সমসাময়িক অন্যান্য ডেভেলপমেন্টের সাথে তুলনা করলে কিছু আকর্ষণীয় পার্থক্য চোখে পড়ে। ল্যাংগ্রাফ (LangGraph) বা অটো-জেন (AutoGen)-এর মতো প্রজেক্টগুলো যেখানে স্ট্যাটিক গ্রাফের মাধ্যমে এজেন্ট পরিচালনার দিকে নজর দেয়, সেখানে MemQ গ্রাফটিকে গতিশীল এবং Q-আপডেটের মাধ্যমে শিক্ষণযোগ্য করে তোলে। এর ফলে নতুন কাজের সাথে মানিয়ে নেওয়া সহজ হতে পারে, তবে গ্রাফ দ্রুত বড় হয়ে গেলে বা পুরোনো তথ্য জমে গেলে মেমরি অস্থির হয়ে ওঠার ঝুঁকিও থেকে যায়।
গবেষণা সম্প্রদায়ের জন্য MemQ এটি অনুসন্ধান করার সুযোগ তৈরি করেছে যে কীভাবে সুসংগঠিত মেমরি এজেন্ট সিস্টেমের সাধারণীকরণে প্রভাব ফেলে। যদি DAG-এর আকার বৃদ্ধির সাথে সাথে এই পদ্ধতিটি কার্যকর থাকে, তবে এটি জটিল ও বহু-স্তরীয় কাজের জন্য ডিজাইন করা এজেন্টের গঠনশৈলী বদলে দিতে পারে। একই সময়ে, বাস্তব প্রেক্ষাপটে যেখানে রিওয়ার্ডের পরিমাণ খুব কম এবং প্রোভেন্যান্স-গ্রাফ দ্রুত ছড়িয়ে পড়ে, সেখানে Q-লার্নিং কতটা কার্যকর হবে তা এখনও অস্পষ্ট।
MemQ-এর অবদান মূল্যায়নের ক্ষেত্রে স্বাধীনভাবে ফলাফল যাচাই এবং পুনরুৎপাদন অত্যন্ত গুরুত্বপূর্ণ হয়ে উঠবে। মেমরির সহজ পদ্ধতির তুলনায় গ্রাফ কাঠামো সত্যিই কোনো টেকসই সুবিধা দেয় কিনা এবং ব্যবহারিক ক্ষেত্রে অ্যাসাইক্লিসিটির শর্ত কী কী সীমাবদ্ধতা তৈরি করে, তা সম্প্রদায়কে পরীক্ষা করে দেখতে হবে। এই ক্ষেত্রের পরবর্তী গবেষণাগুলো সম্ভবত বাস্তব ডেটা এবং দীর্ঘমেয়াদী ইন্টারঅ্যাকশন রয়েছে এমন বেঞ্চমার্কের ওপর MemQ-সদৃশ সিস্টেমগুলো পরীক্ষা করবে।
পরিশেষে বলা যায়, MemQ প্রমাণ করেছে যে প্রোভেন্যান্স গ্রাফের সাথে ক্লাসিক্যাল Q-লার্নিংয়ের একীকরণ এজেন্টদের আরও অর্থবহ এবং বিবর্তনশীল মেমরি দিতে সক্ষম। তবে আরও বাস্তবসম্মত পরিস্থিতিতে এই পদ্ধতির ব্যবহারিক কার্যকারিতা প্রমাণের দাবি রাখে।
