ReDit: Дитеринг вознаграждений для улучшения оптимизации политик языковых моделей

ReDit: Reward Dithering for Improved LLM Policy Optimization

June 23, 2025

Авторы: Chenxing Wei, Jiarui Yu, Ying Tiffany He, Hande Dong, Yao Shu, Fei Yu

cs.AI

Аннотация

DeepSeek-R1 успешно улучшил способности к рассуждению в крупных языковых моделях (LLM) благодаря своей системе вознаграждений, основанной на правилах. Хотя это «идеальная» система вознаграждений, которая эффективно предотвращает манипуляции с вознаграждениями, такие функции вознаграждения часто являются дискретными. Наши экспериментальные наблюдения показывают, что дискретные вознаграждения могут приводить к аномалиям градиента, нестабильной оптимизации и медленной сходимости. Для решения этой проблемы мы предлагаем метод ReDit (Reward Dithering), который добавляет простой случайный шум к дискретному сигналу вознаграждения. С таким изменённым вознаграждением исследовательские градиенты непрерывно предоставляются на протяжении всего процесса обучения, что позволяет осуществлять более плавные обновления градиента и ускорять сходимость. Введённый шум также добавляет стохастичность в плоские области вознаграждения, побуждая модель исследовать новые стратегии и избегать локальных оптимумов. Эксперименты на различных задачах демонстрируют эффективность и производительность ReDit. В среднем ReDit достигает результатов, сопоставимых с базовым GRPO, используя лишь около 10% шагов обучения, и при этом демонстрирует улучшение производительности на 4% по сравнению с базовым GRPO при обучении в течение аналогичного времени. Визуализации подтверждают значительное смягчение проблем с градиентом при использовании ReDit. Кроме того, предоставлены теоретические анализы, которые дополнительно подтверждают эти преимущества.

English

DeepSeek-R1 has successfully enhanced Large Language Model (LLM) reasoning capabilities through its rule-based reward system. While it's a ''perfect'' reward system that effectively mitigates reward hacking, such reward functions are often discrete. Our experimental observations suggest that discrete rewards can lead to gradient anomaly, unstable optimization, and slow convergence. To address this issue, we propose ReDit (Reward Dithering), a method that dithers the discrete reward signal by adding simple random noise. With this perturbed reward, exploratory gradients are continuously provided throughout the learning process, enabling smoother gradient updates and accelerating convergence. The injected noise also introduces stochasticity into flat reward regions, encouraging the model to explore novel policies and escape local optima. Experiments across diverse tasks demonstrate the effectiveness and efficiency of ReDit. On average, ReDit achieves performance comparable to vanilla GRPO with only approximately 10% the training steps, and furthermore, still exhibits a 4% performance improvement over vanilla GRPO when trained for a similar duration. Visualizations confirm significant mitigation of gradient issues with ReDit. Moreover, theoretical analyses are provided to further validate these advantages.