Die Vergangenheit ist nicht vergangen: Gedächtnisgestützte dynamische Belohnungsformung
The Past Is Not Past: Memory-Enhanced Dynamic Reward Shaping
April 13, 2026
Autoren: Yang Liu, Enxi Wang, Yufei Gao, Weixin Zhang, Bo Wang, Zhiyuan Zeng, Yikai Zhang, Yining Zheng, Xipeng Qiu
cs.AI
Zusammenfassung
Trotz der Erfolge von Reinforcement Learning für große Sprachmodelle bleibt eine häufige Fehlerart die verringerte Stichprobenvielfalt, bei der die Policy wiederholt ähnliche fehlerhafte Verhaltensweisen erzeugt. Klassische Entropie-Regularisierung fördert zwar Zufälligkeit unter der aktuellen Policy, unterbindet aber nicht explizit wiederkehrende Fehlermuster über verschiedene Rollouts hinweg. Wir schlagen MEDS vor, einen Memory-Enhanced Dynamic Reward Shaping-Rahmen, der historische Verhaltenssignale in die Belohnungsgestaltung integriert. Durch Speicherung und Nutzung intermediärer Modellrepräsentationen erfassen wir Merkmale vergangener Rollouts und verwenden dichtebasierte Clustering-Verfahren, um häufig auftretende Fehlermuster zu identifizieren. Rollouts, die häufigeren Fehlerclustern zugeordnet werden, werden stärker bestraft, was eine breitere Exploration fördert und gleichzeitig wiederholte Fehler reduziert. Über fünf Datensätze und drei Basismodelle hinweg verbessert MEDS konsistent die durchschnittliche Leistung gegenüber existierenden Baseline-Modellen und erzielt Steigerungen von bis zu 4,13 Pass@1-Punkten und 4,37 Pass@128-Punkten. Zusätzliche Analysen mittels LLM-basierter Annotationen und quantitativer Diversitätsmetriken zeigen, dass MEDS die Verhaltensvielfalt während der Stichprobenentnahme erhöht.
English
Despite the success of reinforcement learning for large language models, a common failure mode is reduced sampling diversity, where the policy repeatedly generates similar erroneous behaviors. Classical entropy regularization encourages randomness under the current policy, but does not explicitly discourage recurrent failure patterns across rollouts. We propose MEDS, a Memory-Enhanced Dynamic reward Shaping framework that incorporates historical behavioral signals into reward design. By storing and leveraging intermediate model representations, we capture features of past rollouts and use density-based clustering to identify frequently recurring error patterns. Rollouts assigned to more prevalent error clusters are penalized more heavily, encouraging broader exploration while reducing repeated mistakes. Across five datasets and three base models, MEDS consistently improves average performance over existing baselines, achieving gains of up to 4.13 pass@1 points and 4.37 pass@128 points. Additional analyses using both LLM-based annotations and quantitative diversity metrics show that MEDS increases behavioral diversity during sampling.