Het verleden is niet voorbij: dynamische beloningsvorming met geheugenverbetering

The Past Is Not Past: Memory-Enhanced Dynamic Reward Shaping

April 13, 2026

Auteurs: Yang Liu, Enxi Wang, Yufei Gao, Weixin Zhang, Bo Wang, Zhiyuan Zeng, Yikai Zhang, Yining Zheng, Xipeng Qiu

cs.AI

Samenvatting

Ondanks het succes van versterkend leren voor grote taalmodel(len), is een veelvoorkomende foutmodus een verminderde steekproefdiversiteit, waarbij het beleid herhaaldelijk vergelijkbaar foutief gedrag genereert. Klassieke entropieregularisatie moedigt willekeur aan onder het huidige beleid, maar ontmoedigt niet expliciet terugkerende foutpatronen tussen verschillende rollouts. Wij stellen MEDS voor, een Memory-Enhanced Dynamic reward Shaping-raamwerk dat historische gedragssignalen integreert in de beloningsontwerp. Door tussenliggende modelrepresentaties op te slaan en te benutten, vangen we kenmerken van eerdere rollouts en gebruiken we op dichtheid gebaseerd clusteren om veelvoorkomende foutpatronen te identificeren. Rollouts die toegewezen worden aan frequentere foutclusters worden zwaarder bestraft, wat bredere exploratie aanmoedigt en tegelijkertijd herhaalde fouten vermindert. Over vijf datasets en drie basismodellen heen verbetert MEDS consistent de gemiddelde prestaties ten opzichte van bestaande basislijnen, met winsten tot 4,13 pass@1-punten en 4,37 pass@128-punten. Aanvullende analyses met zowel op taalmodel(len) gebaseerde annotaties als kwantitatieve diversiteitsmetrieken tonen aan dat MEDS de gedragsdiversiteit tijdens het bemonsteren verhoogt.

English

Despite the success of reinforcement learning for large language models, a common failure mode is reduced sampling diversity, where the policy repeatedly generates similar erroneous behaviors. Classical entropy regularization encourages randomness under the current policy, but does not explicitly discourage recurrent failure patterns across rollouts. We propose MEDS, a Memory-Enhanced Dynamic reward Shaping framework that incorporates historical behavioral signals into reward design. By storing and leveraging intermediate model representations, we capture features of past rollouts and use density-based clustering to identify frequently recurring error patterns. Rollouts assigned to more prevalent error clusters are penalized more heavily, encouraging broader exploration while reducing repeated mistakes. Across five datasets and three base models, MEDS consistently improves average performance over existing baselines, achieving gains of up to 4.13 pass@1 points and 4.37 pass@128 points. Additional analyses using both LLM-based annotations and quantitative diversity metrics show that MEDS increases behavioral diversity during sampling.