Flow-DPPO: Divergenz-Proximale-Politikoptimierung für Flow-Matching-Modelle

Zusammenfassung

Aktuelle Arbeiten haben gezeigt, dass Online-Verstärkungslernen (RL) die Qualität und Ausrichtung von Flow-Matching-Modellen für die Bild- und Videogenerierung erheblich verbessern kann. Methoden wie Flow-GRPO und CPS modellieren den Entrauschungsprozess als Markov-Entscheidungsprozess und wenden PPO-artiges Ratio-Clipping an, um eine Vertrauensregion zu erzwingen. Wir argumentieren jedoch, dass Ratio-Clipping strukturell ungeeignet für Flow-Modelle ist: Das Wahrscheinlichkeitsverhältnis zwischen alter und neuer Policy ist eine verrauschte Einzelstichprobenschätzung der tatsächlichen Policy-Divergenz, was in einigen Regionen der Trajektorie zu einer Überbeschränkung und in anderen zu einer Unterbeschränkung führt. Wir schlagen Flow-DPPO (Flow Divergence Proximal Policy Optimization) vor, das Ratio-Clipping durch eine Divergenz-Proximal-Beschränkung ersetzt. Eine zentrale Beobachtung ist, dass die Schritt-für-Schritt-Policy in Flow-Modellen Gauß'sch ist, was eine exakte und günstige Berechnung der KL-Divergenz zwischen alter und neuer Policy ermöglicht. Flow-DPPO verwendet eine asymmetrische Divergenzmaske, die Gradienten-Updates nur dann blockiert, wenn sie sich gleichzeitig von der Vertrauensregion entfernen und den Divergenzschwellenwert verletzen. Experimente zeigen, dass Flow-DPPO höhere Belohnungen mit besserer KL-Proximal-Effizienz erzielt, katastrophales Vergessen abmildert, eine ausgewogene multiobjektive Optimierung fördert und ein stabiles Training über mehrere Epochen ermöglicht, bei dem Ratio-Clipping an Leistung verliert. Code und Modelle sind verfügbar unter https://github.com/Tencent-Hunyuan/UniRL/tree/main/FlowDPPO.

English

Recent work has demonstrated that online reinforcement learning (RL) can substantially improve the quality and alignment of flow matching models for image and video generation. Methods such as Flow-GRPO and CPS cast the denoising process as a Markov Decision Process and apply PPO-style ratio clipping to enforce a trust region. However, we argue that ratio clipping is structurally ill-suited for flow models: the probability ratio between new and old policies is a noisy, single-sample estimate of the true policy divergence, leading to over-constraining in some regions of the trajectory and under-constraining in others. We propose Flow-DPPO (Flow Divergence Proximal Policy Optimization), which replaces ratio clipping with a divergence proximal constraint. A key observation is that the per-step policy in flow models is Gaussian, enabling exact and cheap computation of the KL divergence between old and new policies. Flow-DPPO employs an asymmetric divergence mask that blocks gradient updates only when they simultaneously move away from the trusted region and violate the divergence threshold. Experiments show that Flow-DPPO achieves higher rewards with better KL-proximal efficiency, alleviates catastrophic forgetting, promotes balanced multi-objective optimization, and enables stable multi-epoch training where ratio clipping degrades. Code and models are available at https://github.com/Tencent-Hunyuan/UniRL/tree/main/FlowDPPO.