Прошлое не ушло: динамическое формирование вознаграждений с улучшенной памятью

The Past Is Not Past: Memory-Enhanced Dynamic Reward Shaping

April 13, 2026

Авторы: Yang Liu, Enxi Wang, Yufei Gao, Weixin Zhang, Bo Wang, Zhiyuan Zeng, Yikai Zhang, Yining Zheng, Xipeng Qiu

cs.AI

Аннотация

Несмотря на успехи обучения с подкреплением для больших языковых моделей, типичным режимом сбоя является снижение разнообразия выборки, когда политика многократно генерирует схожие ошибочные поведения. Классическая регуляризация энтропии поощряет случайность при текущей политике, но явно не препятствует повторяющимся паттернам сбоев в различных прогонах. Мы предлагаем MEDS — фреймворк динамического формирования вознаграждений с расширенной памятью, который интегрирует исторические поведенческие сигналы в дизайн наград. Сохраняя и используя промежуточные представления модели, мы извлекаем характеристики прошлых прогонов и применяем кластеризацию на основе плотности для выявления часто повторяющихся паттернов ошибок. Прогоны, отнесенные к более распространенным кластерам ошибок, штрафуются строже, что стимулирует более широкое исследование и сокращает повторяющиеся ошибки. На пяти наборах данных и трех базовых моделях MEDS стабильно улучшает среднюю производительность по сравнению с существующими базовыми методами, достигая прироста до 4.13 пунктов pass@1 и 4.37 пунктов pass@128. Дополнительный анализ с использованием как аннотаций на основе LLM, так и количественных метрик разнообразия показывает, что MEDS увеличивает поведенческое разнообразие в процессе выборки.

English

Despite the success of reinforcement learning for large language models, a common failure mode is reduced sampling diversity, where the policy repeatedly generates similar erroneous behaviors. Classical entropy regularization encourages randomness under the current policy, but does not explicitly discourage recurrent failure patterns across rollouts. We propose MEDS, a Memory-Enhanced Dynamic reward Shaping framework that incorporates historical behavioral signals into reward design. By storing and leveraging intermediate model representations, we capture features of past rollouts and use density-based clustering to identify frequently recurring error patterns. Rollouts assigned to more prevalent error clusters are penalized more heavily, encouraging broader exploration while reducing repeated mistakes. Across five datasets and three base models, MEDS consistently improves average performance over existing baselines, achieving gains of up to 4.13 pass@1 points and 4.37 pass@128 points. Additional analyses using both LLM-based annotations and quantitative diversity metrics show that MEDS increases behavioral diversity during sampling.