El Pasado No Ha Pasado: Moldeado Dinámico de Recompensas Mejorado con Memoria

The Past Is Not Past: Memory-Enhanced Dynamic Reward Shaping

April 13, 2026

Autores: Yang Liu, Enxi Wang, Yufei Gao, Weixin Zhang, Bo Wang, Zhiyuan Zeng, Yikai Zhang, Yining Zheng, Xipeng Qiu

cs.AI

Resumen

A pesar del éxito del aprendizaje por refuerzo en modelos de lenguaje a gran escala, un modo de fallo común es la reducción de la diversidad en el muestreo, donde la política genera repetidamente comportamientos erróneos similares. La regularización de entropía clásica fomenta la aleatoriedad bajo la política actual, pero no disuade explícitamente los patrones de fallo recurrentes a lo largo de las ejecuciones. Proponemos MEDS, un marco de Moldeado Dinámico de Recompensas con Memoria Mejorada, que incorpora señales conductuales históricas en el diseño de recompensas. Almacenando y aprovechando representaciones intermedias del modelo, capturamos características de ejecuciones pasadas y utilizamos agrupamiento basado en densidad para identificar patrones de error que reaparecen con frecuencia. Las ejecuciones asignadas a grupos de error más prevalentes reciben penalizaciones más severas, fomentando una exploración más amplia mientras se reducen los errores repetidos. En cinco conjuntos de datos y tres modelos base, MEDS mejora consistentemente el rendimiento promedio respecto a los métodos de referencia existentes, logrando ganancias de hasta 4.13 puntos en pass@1 y 4.37 puntos en pass@128. Análisis adicionales que utilizan tanto anotaciones basadas en LLM como métricas de diversidad cuantitativas demuestran que MEDS incrementa la diversidad conductual durante el muestreo.

English

Despite the success of reinforcement learning for large language models, a common failure mode is reduced sampling diversity, where the policy repeatedly generates similar erroneous behaviors. Classical entropy regularization encourages randomness under the current policy, but does not explicitly discourage recurrent failure patterns across rollouts. We propose MEDS, a Memory-Enhanced Dynamic reward Shaping framework that incorporates historical behavioral signals into reward design. By storing and leveraging intermediate model representations, we capture features of past rollouts and use density-based clustering to identify frequently recurring error patterns. Rollouts assigned to more prevalent error clusters are penalized more heavily, encouraging broader exploration while reducing repeated mistakes. Across five datasets and three base models, MEDS consistently improves average performance over existing baselines, achieving gains of up to 4.13 pass@1 points and 4.37 pass@128 points. Additional analyses using both LLM-based annotations and quantitative diversity metrics show that MEDS increases behavioral diversity during sampling.