Pada Mei 2025, sebuah makalah muncul di arXiv yang mendeskripsikan sistem MemQ, sebuah teknologi yang menggabungkan Q-learning dengan agen berkemampuan evolusi memori mandiri melalui directed acyclic provenance graphs (provenance DAGs). Penulis mengusulkan mekanisme di mana agen tidak sekadar menyimpan fakta, melainkan secara dinamis memperbarui nilai tindakan lewat struktur graf yang melacak asal-usul data dan keputusan. Hal ini membedakan MemQ dari pendekatan memori tradisional pada agen LLM, yang penyimpanannya biasanya hanya terbatas pada basis data vektor tanpa mempertimbangkan hubungan sebab-akibat secara eksplisit.
Secara teknis, MemQ merepresentasikan memori sebagai sebuah DAG silsilah (provenance DAG), di mana simpul-simpulnya mewakili status serta tindakan, sementara tepinya merepresentasikan ketergantungan asal-usul. Q-learning tidak diterapkan pada tabel datar, melainkan pada graf: pembaruan nilai-Q dilakukan dengan mempertimbangkan topologi DAG, sehingga memungkinkan agen untuk memperhitungkan konsekuensi jangka panjang melalui jalur silsilah tersebut. Penulis melaporkan adanya peningkatan pada tolok ukur terkait penalaran multitahap dan pelacakan kesalahan, meskipun mereka tidak menyertakan studi ablasi mendalam mengenai pengaruh kepadatan graf terhadap konvergensi.
Metodologi eksperimen yang digunakan menimbulkan sejumlah pertanyaan. Evaluasi utamanya dilakukan pada tugas-tugas sintetis dengan silsilah data yang terkontrol, yang mempermudah pembentukan DAG namun menyisakan pertanyaan terbuka mengenai skalabilitasnya pada sumber dunia nyata yang penuh gangguan. Tidak ditemukan perbandingan dengan pendekatan yang memanfaatkan jaringan saraf graf atau struktur memori terdiferensiasi, seperti Neural Turing Machines atau Differentiable Neural Computers. Kekosongan ini menyulitkan penilaian sejauh mana sebenarnya Q-learning pada DAG memberikan keunggulan dibandingkan metode penstrukturan memori lainnya.
Dalam konteks penelitian terdahulu, MemQ mengembangkan ide pembelajaran penguatan untuk penalaran (reinforcement learning for reasoning) yang telah dipelopori oleh DeepMind dan OpenAI melalui konsep chain-of-thought serta tree-of-thoughts. Namun, berbeda dengan pendekatan-pendekatan tersebut yang melakukan pencarian pada pohon penalaran tanpa memori permanen, MemQ mempertahankan dan mengembangkan graf tersebut sepanjang siklus hidup agen. Hal ini mendekatkan sistem tersebut dengan riset lifelong learning dan continual RL, namun tetap berbeda karena penekanannya pada silsilah data sebagai sinyal utama dalam pembaruan nilai.
Perbandingan dengan perkembangan paralel menunjukkan adanya perbedaan yang menarik. Di saat proyek seperti LangGraph dan AutoGen berfokus pada orkestrasi agen melalui graf statis, MemQ menjadikan graf tersebut dinamis dan dapat dipelajari melalui pembaruan Q. Langkah ini mungkin menghasilkan adaptasi yang lebih alami terhadap tugas-tugas baru, namun di saat yang sama meningkatkan risiko ketidakstabilan ketika graf tumbuh cepat dan mengumpulkan jalur-jalur yang sudah usang.
Bagi komunitas peneliti, MemQ membuka peluang untuk mempelajari bagaimana memori terstruktur memengaruhi generalisasi dalam sistem agen. Jika pendekatan ini terbukti tangguh seiring bertambahnya ukuran DAG, hal tersebut dapat mengubah desain agen yang ditujukan untuk tugas-tugas kompleks bertahap yang memerlukan pelacakan sumber informasi. Di sisi lain, masih belum jelas seberapa efektif Q-learning menangani imbalan yang jarang (sparse rewards) dalam skenario nyata di mana graf silsilah dapat berkembang sangat luas.
Verifikasi independen dan reproduksi hasil akan menjadi kunci untuk mengevaluasi kontribusi MemQ. Komunitas peneliti harus membuktikan apakah struktur graf benar-benar memberikan keunggulan stabil dibandingkan mekanisme memori yang lebih sederhana, serta batasan apa yang muncul akibat syarat asiklisitas pada aplikasi praktis. Pekerjaan selanjutnya di bidang ini kemungkinan besar akan menguji sistem serupa MemQ pada tolok ukur dengan data riil dan interaksi jangka panjang.
Dengan demikian, MemQ menunjukkan bahwa integrasi Q-learning klasik dengan graf silsilah mampu memberikan memori yang lebih bermakna dan berevolusi bagi para agen, meskipun nilai praktis dari pendekatan ini masih memerlukan konfirmasi dalam kondisi yang lebih realistis.
