O Passado Não É Passado: Modelagem Dinâmica de Recompensas Aprimorada por Memória
The Past Is Not Past: Memory-Enhanced Dynamic Reward Shaping
April 13, 2026
Autores: Yang Liu, Enxi Wang, Yufei Gao, Weixin Zhang, Bo Wang, Zhiyuan Zeng, Yikai Zhang, Yining Zheng, Xipeng Qiu
cs.AI
Resumo
Apesar do sucesso da aprendizagem por reforço para modelos de linguagem de grande escala, um modo de falha comum é a redução da diversidade na amostragem, em que a política gera repetidamente comportamentos erróneos semelhantes. A clássica regularização de entropia incentiva a aleatoriedade sob a política atual, mas não desencoraja explicitamente padrões de falha recorrentes ao longo das execuções. Propomos o MEDS, uma estrutura de Moldagem Dinâmica de Recompensa com Memória Aprimorada que incorpora sinais comportamentais históricos no desenho de recompensas. Ao armazenar e alavancar representações intermediárias do modelo, capturamos características de execuções passadas e usamos agrupamento baseado em densidade para identificar padrões de erro que se repetem frequentemente. Execuções atribuídas a clusters de erro mais prevalentes são penalizadas mais severamente, incentivando uma exploração mais ampla enquanto reduz erros repetidos. Em cinco conjuntos de dados e três modelos base, o MEDS melhora consistentemente o desempenho médio em relação às linhas de base existentes, alcançando ganhos de até 4,13 pontos em pass@1 e 4,37 pontos em pass@128. Análises adicionais usando tanto anotações baseadas em LLM quanto métricas de diversidade quantitativas mostram que o MEDS aumenta a diversidade comportamental durante a amostragem.
English
Despite the success of reinforcement learning for large language models, a common failure mode is reduced sampling diversity, where the policy repeatedly generates similar erroneous behaviors. Classical entropy regularization encourages randomness under the current policy, but does not explicitly discourage recurrent failure patterns across rollouts. We propose MEDS, a Memory-Enhanced Dynamic reward Shaping framework that incorporates historical behavioral signals into reward design. By storing and leveraging intermediate model representations, we capture features of past rollouts and use density-based clustering to identify frequently recurring error patterns. Rollouts assigned to more prevalent error clusters are penalized more heavily, encouraging broader exploration while reducing repeated mistakes. Across five datasets and three base models, MEDS consistently improves average performance over existing baselines, achieving gains of up to 4.13 pass@1 points and 4.37 pass@128 points. Additional analyses using both LLM-based annotations and quantitative diversity metrics show that MEDS increases behavioral diversity during sampling.