Дополняющее обучение с подкреплением

Complementary Reinforcement Learning

March 18, 2026

Авторы: Dilxat Muhtar, Jiashun Liu, Wei Gao, Weixun Wang, Shaopan Xiong, Ju Huang, Siran Yang, Wenbo Su, Jiamang Wang, Ling Pan, Bo Zheng

cs.AI

Аннотация

Подкрепляемое обучение (Reinforcement Learning, RL) стало мощной парадигмой для обучения агентов на основе больших языковых моделей (LLM), однако остается ограниченным низкой эффективностью использования данных. Это связано не только с разреженной обратной связью по результатам, но и с неспособностью агента использовать предыдущий опыт между эпизодами. Хотя расширение возможностей агентов за счет исторического опыта представляется перспективным решением, существующие подходы страдают от ключевого недостатка: опыт, извлеченный из истории, либо хранится статично, либо не способен к совместной эволюции с улучшающимся актором. Это приводит к прогрессирующему рассогласованию между опытом и развивающимися возможностями актора, что снижает полезность опыта в процессе обучения. Вдохновленные комплементарными системами обучения в нейронауках, мы представляем Комплементарное RL, которое обеспечивает seamless совместную эволюцию экстрактора опыта и актора политики в рамках цикла оптимизации RL. Конкретно, актор оптимизируется с помощью разреженных вознаграждений, основанных на результатах, в то время как экстрактор опыта оптимизируется в зависимости от того, способствует ли извлеченный им опыт успеху актора, тем самым синхронизируя стратегию управления опытом с растущими возможностями актора. Экспериментально показано, что Комплементарное RL превосходит базовые методы агентного RL, основанные только на результатах и не обучающиеся на опыте, демонстрируя 10% улучшение производительности в сценариях с одной задачей и устойчивую масштабируемость в условиях многозадачности. Эти результаты утверждают Комплементарное RL в качестве парадигмы для эффективного обучения агентов на основе опыта.

English

Reinforcement Learning (RL) has emerged as a powerful paradigm for training LLM-based agents, yet remains limited by low sample efficiency, stemming not only from sparse outcome feedback but also from the agent's inability to leverage prior experience across episodes. While augmenting agents with historical experience offers a promising remedy, existing approaches suffer from a critical weakness: the experience distilled from history is either stored statically or fail to coevolve with the improving actor, causing a progressive misalignment between the experience and the actor's evolving capability that diminishes its utility over the course of training. Inspired by complementary learning systems in neuroscience, we present Complementary RL to achieve seamless co-evolution of an experience extractor and a policy actor within the RL optimization loop. Specifically, the actor is optimized via sparse outcome-based rewards, while the experience extractor is optimized according to whether its distilled experiences demonstrably contribute to the actor's success, thereby evolving its experience management strategy in lockstep with the actor's growing capabilities. Empirically, Complementary RL outperforms outcome-based agentic RL baselines that do not learn from experience, achieving 10% performance improvement in single-task scenarios and exhibits robust scalability in multi-task settings. These results establish Complementary RL as a paradigm for efficient experience-driven agent learning.