GRPO-Guard: Het Verminderen van Impliciete Over-Optimalisatie in Flow Matching via Gereguleerd Clippen

GRPO-Guard: Mitigating Implicit Over-Optimization in Flow Matching via Regulated Clipping

October 25, 2025

Auteurs: Jing Wang, Jiajun Liang, Jie Liu, Henglin Liu, Gongye Liu, Jun Zheng, Wanyuan Pang, Ao Ma, Zhenyu Xie, Xintao Wang, Meng Wang, Pengfei Wan, Xiaodan Liang

cs.AI

Samenvatting

Recentelijk heeft GRPO-gebaseerde reinforcement learning opmerkelijke vooruitgang geboekt in het optimaliseren van flow-matching modellen, waarbij de afstemming op taakspecifieke beloningen effectief wordt verbeterd. Binnen deze raamwerken is het beleidsupdate afhankelijk van importance-ratio clipping om overmoedige positieve en negatieve gradiënten te begrenzen. In de praktijk observeren we echter een systematische verschuiving in de importance-ratio verdeling: het gemiddelde zakt onder 1 en de variantie verschilt aanzienlijk tussen tijdstappen. Deze naar links verschoven en inconsistente verdeling voorkomt dat samples met positief voordeel het geknipte gebied bereiken, waardoor het mechanisme faalt in het beteugelen van overmoedige positieve updates. Hierdoor raakt het beleidsmodel onvermijdelijk in een impliciete overoptimalisatiefase – terwijl de proxybeloning blijft stijgen, verslechteren essentiële metrieken zoals beeldkwaliteit en tekstprompt-afstemming sterk, wat het geleerde beleid uiteindelijk onpraktisch maakt voor real-world toepassingen. Om dit probleem aan te pakken, introduceren we GRPO-Guard, een eenvoudige maar effectieve verbetering voor bestaande GRPO-raamwerken. Onze methode integreert ratio-normalisatie, die een gebalanceerde en stap-consistente importance ratio herstelt, zodat PPO-clipping schadelijke updates over denoiseringsstappen correct begrenst. Daarnaast egaliseert een gradiënt-herwegingstrategie de beleidsgradiënten over ruiscondities, waardoor excessieve updates vanuit specifieke tijdstapregio's worden voorkomen. Gezamenlijk fungeren deze ontwerpen als een gereguleerd clippingmechanisme dat de optimalisatie stabiliseert en impliciete overoptimalisatie aanzienlijk vermindert zonder zware KL-regularisatie. Uitgebreide experimenten met meerdere diffusie-backbones (zoals SD3.5M, Flux.1-dev) en diverse proxytaken tonen aan dat GRPO-Guard overoptimalisatie significant reduceert terwijl de gegenereerde kwaliteit behouden blijft of zelfs verbetert.

English

Recently, GRPO-based reinforcement learning has shown remarkable progress in optimizing flow-matching models, effectively improving their alignment with task-specific rewards. Within these frameworks, the policy update relies on importance-ratio clipping to constrain overconfident positive and negative gradients. However, in practice, we observe a systematic shift in the importance-ratio distribution-its mean falls below 1 and its variance differs substantially across timesteps. This left-shifted and inconsistent distribution prevents positive-advantage samples from entering the clipped region, causing the mechanism to fail in constraining overconfident positive updates. As a result, the policy model inevitably enters an implicit over-optimization stage-while the proxy reward continues to increase, essential metrics such as image quality and text-prompt alignment deteriorate sharply, ultimately making the learned policy impractical for real-world use. To address this issue, we introduce GRPO-Guard, a simple yet effective enhancement to existing GRPO frameworks. Our method incorporates ratio normalization, which restores a balanced and step-consistent importance ratio, ensuring that PPO clipping properly constrains harmful updates across denoising timesteps. In addition, a gradient reweighting strategy equalizes policy gradients over noise conditions, preventing excessive updates from particular timestep regions. Together, these designs act as a regulated clipping mechanism, stabilizing optimization and substantially mitigating implicit over-optimization without relying on heavy KL regularization. Extensive experiments on multiple diffusion backbones (e.g., SD3.5M, Flux.1-dev) and diverse proxy tasks demonstrate that GRPO-Guard significantly reduces over-optimization while maintaining or even improving generation quality.