ReDit: Dithering della Ricompensa per il Miglioramento dell'Ottimizzazione delle Politiche nei Modelli Linguistici di Grande Dimensione

ReDit: Reward Dithering for Improved LLM Policy Optimization

June 23, 2025

Autori: Chenxing Wei, Jiarui Yu, Ying Tiffany He, Hande Dong, Yao Shu, Fei Yu

cs.AI

Abstract

DeepSeek-R1 ha migliorato con successo le capacità di ragionamento dei Large Language Model (LLM) attraverso il suo sistema di ricompensa basato su regole. Sebbene si tratti di un sistema di ricompensa "perfetto" che mitiga efficacemente il fenomeno del reward hacking, tali funzioni di ricompensa sono spesso discrete. Le nostre osservazioni sperimentali suggeriscono che le ricompense discrete possono portare ad anomalie del gradiente, ottimizzazione instabile e convergenza lenta. Per affrontare questo problema, proponiamo ReDit (Reward Dithering), un metodo che modula il segnale di ricompensa discreta aggiungendo un semplice rumore casuale. Con questa ricompensa perturbata, i gradienti esplorativi vengono forniti in modo continuo durante il processo di apprendimento, consentendo aggiornamenti del gradiente più fluidi e accelerando la convergenza. Il rumore iniettato introduce inoltre stocasticità nelle regioni piatte della ricompensa, incoraggiando il modello a esplorare nuove politiche e a sfuggire agli ottimi locali. Esperimenti su diversi compiti dimostrano l'efficacia e l'efficienza di ReDit. In media, ReDit raggiunge prestazioni comparabili al vanilla GRPO con solo circa il 10% dei passi di addestramento e, inoltre, mostra ancora un miglioramento delle prestazioni del 4% rispetto al vanilla GRPO quando addestrato per una durata simile. Le visualizzazioni confermano una significativa mitigazione dei problemi di gradiente con ReDit. Inoltre, vengono fornite analisi teoriche per convalidare ulteriormente questi vantaggi.

English

DeepSeek-R1 has successfully enhanced Large Language Model (LLM) reasoning capabilities through its rule-based reward system. While it's a ''perfect'' reward system that effectively mitigates reward hacking, such reward functions are often discrete. Our experimental observations suggest that discrete rewards can lead to gradient anomaly, unstable optimization, and slow convergence. To address this issue, we propose ReDit (Reward Dithering), a method that dithers the discrete reward signal by adding simple random noise. With this perturbed reward, exploratory gradients are continuously provided throughout the learning process, enabling smoother gradient updates and accelerating convergence. The injected noise also introduces stochasticity into flat reward regions, encouraging the model to explore novel policies and escape local optima. Experiments across diverse tasks demonstrate the effectiveness and efficiency of ReDit. On average, ReDit achieves performance comparable to vanilla GRPO with only approximately 10% the training steps, and furthermore, still exhibits a 4% performance improvement over vanilla GRPO when trained for a similar duration. Visualizations confirm significant mitigation of gradient issues with ReDit. Moreover, theoretical analyses are provided to further validate these advantages.