ReDit : Dithering de récompense pour l'optimisation améliorée des politiques de LLM

ReDit: Reward Dithering for Improved LLM Policy Optimization

June 23, 2025

papers.authors: Chenxing Wei, Jiarui Yu, Ying Tiffany He, Hande Dong, Yao Shu, Fei Yu

cs.AI

papers.abstract

DeepSeek-R1 a réussi à améliorer les capacités de raisonnement des modèles de langage de grande taille (LLM) grâce à son système de récompense basé sur des règles. Bien qu'il s'agisse d'un système de récompense « parfait » qui atténue efficacement le piratage des récompenses, de telles fonctions de récompense sont souvent discrètes. Nos observations expérimentales suggèrent que les récompenses discrètes peuvent entraîner des anomalies de gradient, une optimisation instable et une convergence lente. Pour résoudre ce problème, nous proposons ReDit (Reward Dithering), une méthode qui brouille le signal de récompense discret en ajoutant un simple bruit aléatoire. Avec cette récompense perturbée, des gradients exploratoires sont continuellement fournis tout au long du processus d'apprentissage, permettant des mises à jour de gradient plus fluides et accélérant la convergence. Le bruit injecté introduit également une stochasticité dans les régions de récompense plates, encourageant le modèle à explorer de nouvelles politiques et à échapper aux optima locaux. Des expériences sur diverses tâches démontrent l'efficacité et l'efficience de ReDit. En moyenne, ReDit atteint des performances comparables à celles de GRPO classique avec seulement environ 10 % des étapes d'entraînement, et montre en outre une amélioration de 4 % par rapport à GRPO classique lorsqu'il est entraîné pendant une durée similaire. Les visualisations confirment une atténuation significative des problèmes de gradient avec ReDit. De plus, des analyses théoriques sont fournies pour valider davantage ces avantages.

English

DeepSeek-R1 has successfully enhanced Large Language Model (LLM) reasoning capabilities through its rule-based reward system. While it's a ''perfect'' reward system that effectively mitigates reward hacking, such reward functions are often discrete. Our experimental observations suggest that discrete rewards can lead to gradient anomaly, unstable optimization, and slow convergence. To address this issue, we propose ReDit (Reward Dithering), a method that dithers the discrete reward signal by adding simple random noise. With this perturbed reward, exploratory gradients are continuously provided throughout the learning process, enabling smoother gradient updates and accelerating convergence. The injected noise also introduces stochasticity into flat reward regions, encouraging the model to explore novel policies and escape local optima. Experiments across diverse tasks demonstrate the effectiveness and efficiency of ReDit. On average, ReDit achieves performance comparable to vanilla GRPO with only approximately 10% the training steps, and furthermore, still exhibits a 4% performance improvement over vanilla GRPO when trained for a similar duration. Visualizations confirm significant mitigation of gradient issues with ReDit. Moreover, theoretical analyses are provided to further validate these advantages.