ReDit: Beloningsdithering voor Verbeterde LLM-beleidsoptimalisatie

ReDit: Reward Dithering for Improved LLM Policy Optimization

June 23, 2025

Auteurs: Chenxing Wei, Jiarui Yu, Ying Tiffany He, Hande Dong, Yao Shu, Fei Yu

cs.AI

Samenvatting

DeepSeek-R1 heeft met succes de redeneercapaciteiten van Large Language Models (LLM's) verbeterd via zijn op regels gebaseerde beloningssysteem. Hoewel het een 'perfect' beloningssysteem is dat effectief beloningsmanipulatie tegengaat, zijn dergelijke beloningsfuncties vaak discreet. Onze experimentele observaties suggereren dat discrete beloningen kunnen leiden tot gradiëntanomalieën, instabiele optimalisatie en trage convergentie. Om dit probleem aan te pakken, stellen we ReDit (Reward Dithering) voor, een methode die het discrete beloningssignaal dithert door eenvoudige willekeurige ruis toe te voegen. Met deze verstoorde beloning worden verkennende gradiënten continu aangeboden gedurende het leerproces, wat soepelere gradiëntupdates en versnelde convergentie mogelijk maakt. De geïnjecteerde ruis introduceert ook stochastiek in vlakke beloningsregio's, wat het model aanmoedigt om nieuwe beleidslijnen te verkennen en lokale optima te ontvluchten. Experimenten over diverse taken demonstreren de effectiviteit en efficiëntie van ReDit. Gemiddeld behaalt ReDit een prestatieniveau vergelijkbaar met vanilla GRPO met slechts ongeveer 10% van de trainingsstappen, en vertoont het bovendien nog steeds een prestatieverbetering van 4% ten opzichte van vanilla GRPO wanneer het voor een vergelijkbare duur wordt getraind. Visualisaties bevestigen een significante vermindering van gradiëntproblemen met ReDit. Daarnaast worden theoretische analyses aangeboden om deze voordelen verder te valideren.

English

DeepSeek-R1 has successfully enhanced Large Language Model (LLM) reasoning capabilities through its rule-based reward system. While it's a ''perfect'' reward system that effectively mitigates reward hacking, such reward functions are often discrete. Our experimental observations suggest that discrete rewards can lead to gradient anomaly, unstable optimization, and slow convergence. To address this issue, we propose ReDit (Reward Dithering), a method that dithers the discrete reward signal by adding simple random noise. With this perturbed reward, exploratory gradients are continuously provided throughout the learning process, enabling smoother gradient updates and accelerating convergence. The injected noise also introduces stochasticity into flat reward regions, encouraging the model to explore novel policies and escape local optima. Experiments across diverse tasks demonstrate the effectiveness and efficiency of ReDit. On average, ReDit achieves performance comparable to vanilla GRPO with only approximately 10% the training steps, and furthermore, still exhibits a 4% performance improvement over vanilla GRPO when trained for a similar duration. Visualizations confirm significant mitigation of gradient issues with ReDit. Moreover, theoretical analyses are provided to further validate these advantages.