Vào tháng 5 năm 2025, một bài báo được công bố trên arXiv đã giới thiệu hệ thống MemQ, một giải pháp kết hợp Q-learning với các tác nhân có khả năng tự tiến hóa bộ nhớ thông qua các đồ thị có hướng không chu trình về nguồn gốc dữ liệu (provenance DAGs). Các tác giả đề xuất một cơ chế mà tại đó, tác nhân không chỉ đơn thuần lưu trữ các sự kiện, mà còn cập nhật linh hoạt giá trị của các hành động thông qua cấu trúc đồ thị nhằm theo dõi nguồn gốc của dữ liệu và các quyết định đã đưa ra. Điều này tạo nên sự khác biệt giữa MemQ và các phương pháp tiếp cận bộ nhớ truyền thống trong các tác nhân LLM, vốn thường chỉ dừng lại ở việc lưu trữ trong cơ sở dữ liệu vector mà thiếu đi sự cân nhắc rõ ràng về mối quan hệ nhân quả.
Về mặt kỹ thuật, MemQ biểu diễn bộ nhớ dưới dạng một DAG nguồn gốc, trong đó các nút tương ứng với các trạng thái và hành động, còn các cạnh thể hiện sự phụ thuộc về nguồn gốc. Q-learning được triển khai không phải trên một bảng phẳng mà trên chính đồ thị này: việc cập nhật giá trị Q dựa trên cấu trúc liên kết của DAG, giúp tác nhân tính đến các hệ quả dài hạn thông qua các lộ trình nguồn gốc. Mặc dù các tác giả ghi nhận sự cải thiện đáng kể trên các bài kiểm tra về suy luận đa bước và theo dõi lỗi, họ vẫn chưa cung cấp các nghiên cứu loại trừ chi tiết về ảnh hưởng của mật độ đồ thị đối với khả năng hội tụ.
Phương pháp thực nghiệm của nghiên cứu này vẫn còn tồn tại một số điểm nghi vấn. Quá trình đánh giá chủ yếu được thực hiện trên các tác vụ tổng hợp với nguồn gốc dữ liệu được kiểm soát, điều này giúp đơn giản hóa việc xây dựng DAG nhưng lại bỏ ngỏ khả năng mở rộng khi đối mặt với các nguồn dữ liệu thực tế đầy nhiễu. Ngoài ra, nghiên cứu cũng thiếu đi sự so sánh với các phương pháp sử dụng mạng thần kinh đồ thị hoặc các cấu trúc bộ nhớ có khả năng vi phân như Máy Turing Thần kinh (Neural Turing Machines) hay Máy tính Thần kinh Vi phân (Differentiable Neural Computers). Chính vì vậy, rất khó để đánh giá chính xác mức độ ưu thế mà Q-learning trên DAG mang lại so với các phương pháp cấu trúc hóa bộ nhớ khác.
Trong bối cảnh các nghiên cứu trước đây, MemQ phát triển dựa trên ý tưởng học tăng cường cho suy luận, vốn đã được DeepMind và OpenAI trình bày qua các mô hình chuỗi suy nghĩ (chain-of-thought) và cây suy nghĩ (tree-of-thoughts). Tuy nhiên, khác với những phương pháp tìm kiếm trên cây suy luận mà không có bộ nhớ vĩnh viễn, MemQ duy trì và cho phép đồ thị tiến hóa trong suốt vòng đời của tác nhân. Đặc điểm này giúp hệ thống gần gũi hơn với các nghiên cứu về học tập suốt đời (lifelong learning) và học tăng cường liên tục (continual RL), nhưng lại khác biệt ở chỗ nhấn mạnh vào nguồn gốc dữ liệu như một tín hiệu then chốt để cập nhật giá trị.
Khi so sánh với các dự án song song, chúng ta có thể thấy những sự khác biệt thú vị. Trong khi các dự án như LangGraph và AutoGen tập trung vào việc điều phối tác nhân thông qua các đồ thị tĩnh, MemQ lại biến đồ thị thành một thực thể động và có khả năng học hỏi thông qua các bản cập nhật Q. Điều này có thể giúp hệ thống thích nghi tự nhiên hơn với các nhiệm vụ mới, nhưng đồng thời cũng làm tăng nguy cơ mất ổn định khi đồ thị phát triển quá nhanh và tích tụ nhiều lộ trình lỗi thời.
Đối với cộng đồng nghiên cứu, MemQ mở ra cơ hội để tìm hiểu cách thức bộ nhớ có cấu trúc ảnh hưởng đến khả năng tổng quát hóa trong các hệ thống tác nhân. Nếu phương pháp này chứng minh được tính ổn định khi quy mô DAG mở rộng, nó có thể thay đổi cách thiết kế các tác nhân chuyên trách những nhiệm vụ đa giai đoạn phức tạp vốn đòi hỏi khả năng truy xuất nguồn tin. Tuy nhiên, hiện vẫn chưa rõ mức độ hiệu quả của Q-learning khi xử lý các phần thưởng thưa thớt trong các kịch bản thực tế, nơi mà đồ thị nguồn gốc có thể phình to nhanh chóng.
Việc xác minh độc lập và tái lập các kết quả sẽ là yếu tố then chốt để đánh giá đóng góp thực sự của MemQ. Cộng đồng khoa học cần kiểm chứng liệu cấu trúc đồ thị có thực sự mang lại ưu thế bền vững so với các cơ chế bộ nhớ đơn giản hơn hay không, cũng như những hạn chế mà yêu cầu về tính không chu trình gây ra cho các ứng dụng thực tiễn. Các nghiên cứu tiếp theo trong lĩnh vực này có khả năng sẽ thử nghiệm những hệ thống tương tự MemQ trên các bài kiểm tra với dữ liệu thực và các tương tác dài hạn.
Tóm lại, MemQ đã chứng minh rằng việc tích hợp Q-learning cổ điển với đồ thị nguồn gốc có thể mang lại cho các tác nhân một bộ nhớ có ý nghĩa và khả năng tiến hóa tốt hơn; dù vậy, giá trị thực tiễn của hướng đi này vẫn cần được khẳng định trong những điều kiện thực tế hơn.
