En mai 2025, un article publié sur arXiv a présenté le système MemQ, qui combine le Q-learning avec des agents capables de faire évoluer leur propre mémoire via des graphes orientés acycliques de provenance (DAG). Les auteurs proposent un mécanisme où l'agent ne se contente plus de stocker des faits, mais actualise dynamiquement la valeur de ses actions à travers des structures de graphes retraçant l'origine des données et des décisions. Cette approche distingue MemQ des méthodes de mémoire traditionnelles utilisées par les agents LLM, où le stockage repose généralement sur des bases de données vectorielles sans prise en compte explicite des liens de causalité.
Sur le plan technique, MemQ modélise la mémoire comme un DAG de provenance, où les nœuds correspondent aux états et aux actions, tandis que les arêtes représentent les dépendances d'origine. Le Q-learning n'est pas appliqué à un tableau plat mais directement au graphe : la mise à jour des valeurs Q s'effectue selon la topologie du DAG, permettant à l'agent d'anticiper les conséquences à long terme via les chemins de provenance. Bien que les auteurs fassent état d'une amélioration sur les tests de raisonnement multi-étapes et de suivi d'erreurs, l'étude manque d'analyses d'ablation détaillées concernant l'impact de la densité du graphe sur la convergence.
La méthodologie expérimentale soulève toutefois des interrogations. L'évaluation a été menée principalement sur des tâches synthétiques avec une provenance de données contrôlée, ce qui facilite la construction du DAG mais laisse en suspens la question de la scalabilité face à des sources réelles et bruitées. On note également l'absence de comparaison avec des approches utilisant des réseaux de neurones sur graphes ou des structures de mémoire différentiables, telles que les Neural Turing Machines ou les Differentiable Neural Computers. Cette absence rend difficile l'évaluation de l'avantage spécifique du Q-learning sur DAG par rapport aux autres modes de structuration de la mémoire.
Dans le sillage des travaux antérieurs, MemQ approfondit les concepts d'apprentissage par renforcement pour le raisonnement, à l'instar des recherches de DeepMind et OpenAI sur la « chaîne de pensée » et l'« arbre de pensées ». Cependant, contrairement à ces approches où la recherche s'effectue sur un arbre de raisonnement sans mémoire permanente, MemQ conserve et fait évoluer son graphe tout au long de la vie de l'agent. Ce système se rapproche ainsi des recherches sur l'apprentissage tout au long de la vie (lifelong learning) et le RL continu, tout en s'en distanciant par son accent mis sur la provenance comme signal clé de mise à jour des valeurs.
La comparaison avec des développements parallèles révèle des divergences intéressantes. Tandis que des projets comme LangGraph et AutoGen se focalisent sur l'orchestration d'agents via des graphes statiques, MemQ rend le graphe dynamique et capable d'apprendre par des mises à jour Q. Si cela suggère une adaptation plus naturelle aux nouvelles tâches, cela accroît simultanément le risque d'instabilité en cas de croissance rapide du graphe et d'accumulation de chemins obsolètes.
Pour la communauté scientifique, MemQ ouvre une voie pour étudier l'influence d'une mémoire structurée sur la généralisation des systèmes d'agents. Si cette approche s'avère robuste malgré l'augmentation de la taille du DAG, elle pourrait transformer la conception d'agents dédiés à des tâches complexes et multi-étapes nécessitant un suivi rigoureux des sources d'information. En revanche, l'efficacité du Q-learning face à des récompenses éparses dans des scénarios réels, où le graphe de provenance s'étend rapidement, reste à démontrer.
Une vérification indépendante et la reproduction des résultats seront cruciales pour évaluer l'apport réel de MemQ. La communauté devra déterminer si la structure en graphe offre véritablement un avantage durable par rapport à des mécanismes de mémoire plus simples, et quelles limites impose l'exigence d'acyclicité dans des applications concrètes. Les futurs travaux dans ce domaine testeront probablement des systèmes de type MemQ sur des bancs d'essai utilisant des données réelles et des interactions de longue durée.
En conclusion, MemQ démontre que l'intégration du Q-learning classique aux graphes de provenance peut doter les agents d'une mémoire plus cohérente et évolutive, bien que la valeur pratique de cette méthode doive encore être confirmée dans des conditions plus réalistes.
