Le passé n'est pas révolu : Façonnage dynamique des récompenses amélioré par la mémoire

The Past Is Not Past: Memory-Enhanced Dynamic Reward Shaping

April 13, 2026

Auteurs: Yang Liu, Enxi Wang, Yufei Gao, Weixin Zhang, Bo Wang, Zhiyuan Zeng, Yikai Zhang, Yining Zheng, Xipeng Qiu

cs.AI

Résumé

Malgré les succès de l'apprentissage par renforcement pour les grands modèles de langage, un mode d'échec fréquent est la réduction de la diversité des échantillons, où la politique génère de manière répétée des comportements erronés similaires. La régularisation par entropie classique encourage l'aléatoire sous la politique actuelle, mais ne décourage pas explicitement les schémas d'échec récurrents entre les différentes épisodes. Nous proposons MEDS, un cadre de **M**ise en forme **D**ynamique des récompenses **E**nrichi par la **M**émoire, qui intègre des signaux comportementaux historiques dans la conception de la récompense. En stockant et en exploitant les représentations intermédiaires du modèle, nous capturons des caractéristiques des épisodes passés et utilisons un clustering basé sur la densité pour identifier les schémas d'erreur récurrents. Les épisodes attribués aux clusters d'erreur les plus fréquents sont pénalisés plus lourdement, encourageant une exploration plus large tout en réduisant les erreurs répétées. Sur cinq jeux de données et trois modèles de base, MEDS améliore constamment les performances moyennes par rapport aux lignes de base existantes, obtenant des gains allant jusqu'à 4,13 points pass@1 et 4,37 points pass@128. Des analyses complémentaires utilisant à la fois des annotations basées sur des LLM et des métriques quantitatives de diversité montrent que MEDS augmente la diversité comportementale lors de l'échantillonnage.

English

Despite the success of reinforcement learning for large language models, a common failure mode is reduced sampling diversity, where the policy repeatedly generates similar erroneous behaviors. Classical entropy regularization encourages randomness under the current policy, but does not explicitly discourage recurrent failure patterns across rollouts. We propose MEDS, a Memory-Enhanced Dynamic reward Shaping framework that incorporates historical behavioral signals into reward design. By storing and leveraging intermediate model representations, we capture features of past rollouts and use density-based clustering to identify frequently recurring error patterns. Rollouts assigned to more prevalent error clusters are penalized more heavily, encouraging broader exploration while reducing repeated mistakes. Across five datasets and three base models, MEDS consistently improves average performance over existing baselines, achieving gains of up to 4.13 pass@1 points and 4.37 pass@128 points. Additional analyses using both LLM-based annotations and quantitative diversity metrics show that MEDS increases behavioral diversity during sampling.