В мае 2025 года на arXiv появилась работа, описывающая систему MemQ, которая объединяет Q-обучение с агентами, способными самостоятельно эволюционировать свою память, используя направленные ациклические графы происхождения (provenance DAGs). Авторы предлагают механизм, при котором агент не просто хранит факты, а динамически обновляет ценности действий через графовые структуры, отслеживающие происхождение данных и решений. Это отличает MemQ от традиционных подходов к памяти в LLM-агентах, где хранение обычно сводится к векторным базам без явного учёта причинно-следственных связей.
Технически MemQ представляет память как provenance DAG, где узлы соответствуют состояниям и действиям, а рёбра — зависимостям происхождения. Q-обучение применяется не к плоской таблице, а к графу: обновление Q-значений происходит с учётом топологии DAG, что позволяет агенту учитывать долгосрочные последствия через пути происхождения. Авторы сообщают об улучшении на бенчмарках, связанных с многошаговым рассуждением и отслеживанием ошибок, однако не приводят детальных абляционных исследований по влиянию плотности графа на сходимость.
Методология экспериментов вызывает вопросы. Оценка проводилась преимущественно на синтетических задачах с контролируемым происхождением данных, что упрощает построение DAG, но оставляет открытым вопрос о масштабируемости при реальных, зашумлённых источниках. Отсутствуют сравнения с подходами, использующими графовые нейронные сети или дифференцируемые структуры памяти, такие как Neural Turing Machines или Differentiable Neural Computers. Это делает трудно оценить, насколько именно Q-обучение на DAG даёт преимущество по сравнению с другими способами структурирования памяти.
В контексте предшествующих работ MemQ развивает идеи reinforcement learning for reasoning, представленные в работах DeepMind и OpenAI по chain-of-thought и tree-of-thoughts. Однако в отличие от этих подходов, где поиск ведётся по дереву рассуждений без постоянной памяти, MemQ сохраняет и эволюционирует граф на протяжении всей жизни агента. Это сближает систему с исследованиями lifelong learning и continual RL, но расходится с ними в акценте на provenance как ключевом сигнале для обновления ценностей.
Сравнение с параллельными разработками показывает интересные расхождения. В то время как проекты вроде LangGraph и AutoGen фокусируются на оркестрации агентов через статические графы, MemQ делает граф динамическим и обучаемым через Q-обновления. Это может означать более естественную адаптацию к новым задачам, но одновременно повышает риск нестабильности при быстром росте графа и накоплении устаревших путей.
Для исследовательского сообщества MemQ открывает возможность изучать, как структурированная память влияет на обобщение в агентных системах. Если подход окажется устойчивым при увеличении размера DAG, это может изменить проектирование агентов, ориентированных на сложные, многоэтапные задачи с необходимостью отслеживать источники информации. В то же время остаётся неясным, насколько эффективно Q-обучение справляется с разреженными наградами в реальных сценариях, где provenance-граф быстро разрастается.
Независимая верификация и воспроизведение результатов станут ключевыми для оценки вклада MemQ. Сообществу предстоит проверить, действительно ли графовая структура даёт устойчивое преимущество над более простыми механизмами памяти, и какие ограничения накладывает требование ацикличности на практические применения. Следующие работы в этой области, вероятно, будут тестировать MemQ-подобные системы на бенчмарках с реальными данными и долгосрочными взаимодействиями.
Таким образом, MemQ демонстрирует, что интеграция классического Q-обучения с графами происхождения способна придать агентам более осмысленную и эволюционирующую память, однако практическая ценность этого подхода ещё требует подтверждения в более реалистичных условиях.
