ReDit: Dithering de Recompensa para Otimização Aprimorada de Políticas de LLM

ReDit: Reward Dithering for Improved LLM Policy Optimization

June 23, 2025

Autores: Chenxing Wei, Jiarui Yu, Ying Tiffany He, Hande Dong, Yao Shu, Fei Yu

cs.AI

Resumo

O DeepSeek-R1 aprimorou com sucesso as capacidades de raciocínio dos Modelos de Linguagem de Grande Escala (LLMs) por meio de seu sistema de recompensas baseado em regras. Embora seja um sistema de recompensa "perfeito" que mitiga efetivamente o hacking de recompensas, tais funções de recompensa são frequentemente discretas. Nossas observações experimentais sugerem que recompensas discretas podem levar a anomalias de gradiente, otimização instável e convergência lenta. Para resolver esse problema, propomos o ReDit (Reward Dithering), um método que modula o sinal de recompensa discreta adicionando ruído aleatório simples. Com essa recompensa perturbada, gradientes exploratórios são fornecidos continuamente ao longo do processo de aprendizado, permitindo atualizações de gradiente mais suaves e acelerando a convergência. O ruído injetado também introduz estocasticidade em regiões de recompensa plana, incentivando o modelo a explorar novas políticas e escapar de ótimos locais. Experimentos em diversas tarefas demonstram a eficácia e eficiência do ReDit. Em média, o ReDit alcança desempenho comparável ao GRPO padrão com apenas aproximadamente 10% das etapas de treinamento e, além disso, ainda exibe uma melhoria de desempenho de 4% em relação ao GRPO padrão quando treinado por um período similar. Visualizações confirmam uma mitigação significativa dos problemas de gradiente com o ReDit. Além disso, análises teóricas são fornecidas para validar ainda mais essas vantagens.

English

DeepSeek-R1 has successfully enhanced Large Language Model (LLM) reasoning capabilities through its rule-based reward system. While it's a ''perfect'' reward system that effectively mitigates reward hacking, such reward functions are often discrete. Our experimental observations suggest that discrete rewards can lead to gradient anomaly, unstable optimization, and slow convergence. To address this issue, we propose ReDit (Reward Dithering), a method that dithers the discrete reward signal by adding simple random noise. With this perturbed reward, exploratory gradients are continuously provided throughout the learning process, enabling smoother gradient updates and accelerating convergence. The injected noise also introduces stochasticity into flat reward regions, encouraging the model to explore novel policies and escape local optima. Experiments across diverse tasks demonstrate the effectiveness and efficiency of ReDit. On average, ReDit achieves performance comparable to vanilla GRPO with only approximately 10% the training steps, and furthermore, still exhibits a 4% performance improvement over vanilla GRPO when trained for a similar duration. Visualizations confirm significant mitigation of gradient issues with ReDit. Moreover, theoretical analyses are provided to further validate these advantages.