Il passato non è passato: modellamento dinamico delle ricompense potenziato dalla memoria

The Past Is Not Past: Memory-Enhanced Dynamic Reward Shaping

April 13, 2026

Autori: Yang Liu, Enxi Wang, Yufei Gao, Weixin Zhang, Bo Wang, Zhiyuan Zeng, Yikai Zhang, Yining Zheng, Xipeng Qiu

cs.AI

Abstract

Nonostante il successo dell'apprendimento per rinforzo per i grandi modelli linguistici, una modalità di fallimento comune è la ridotta diversità del campionamento, in cui la politica genera ripetutamente comportamenti erronei simili. La classica regolarizzazione dell'entropia incoraggia la casualità sotto la politica corrente, ma non scoraggia esplicitamente i modelli di fallimento ricorrenti tra i diversi rollout. Proponiamo MEDS, un framework di modellazione dinamica delle ricompense potenziato dalla memoria, che incorpora segnali comportamentali storici nella progettazione delle ricompense. Memorizzando e sfruttando le rappresentazioni intermedie del modello, catturiamo le caratteristiche dei rollout passati e utilizziamo il clustering basato sulla densità per identificare modelli di errore che si ripetono frequentemente. I rollout assegnati a cluster di errore più prevalenti vengono penalizzati più pesantemente, incoraggiando un'esplorazione più ampia riducendo al contempo gli errori ripetuti. Su cinque dataset e tre modelli di base, MEDS migliora costantemente le prestazioni medie rispetto ai baseline esistenti, ottenendo guadagni fino a 4,13 punti pass@1 e 4,37 punti pass@128. Ulteriori analisi che utilizzano sia annotazioni basate su LLM che metriche di diversità quantitative mostrano che MEDS aumenta la diversità comportamentale durante il campionamento.

English

Despite the success of reinforcement learning for large language models, a common failure mode is reduced sampling diversity, where the policy repeatedly generates similar erroneous behaviors. Classical entropy regularization encourages randomness under the current policy, but does not explicitly discourage recurrent failure patterns across rollouts. We propose MEDS, a Memory-Enhanced Dynamic reward Shaping framework that incorporates historical behavioral signals into reward design. By storing and leveraging intermediate model representations, we capture features of past rollouts and use density-based clustering to identify frequently recurring error patterns. Rollouts assigned to more prevalent error clusters are penalized more heavily, encouraging broader exploration while reducing repeated mistakes. Across five datasets and three base models, MEDS consistently improves average performance over existing baselines, achieving gains of up to 4.13 pass@1 points and 4.37 pass@128 points. Additional analyses using both LLM-based annotations and quantitative diversity metrics show that MEDS increases behavioral diversity during sampling.