NormGuard: Belohnungserhaltende Normbeschränkungen im Flow-Matching Reinforcement Learning

Zusammenfassung

Reinforcement-Learning (RL) Post-Training verbessert die Belohnungsausrichtung von flussbasierten Generatoren, führt jedoch oft zu einer Verschlechterung der Wahrnehmungsqualität, die vom Belohnungsproxy nicht erfasst wird. Wir identifizieren eine einfache strukturelle Signatur dieser Drift: Über drei Post-Training-Methoden (NFT, AWM, DPO) hinweg erhöht das RL-Feintuning die Norm der Geschwindigkeit pro Schritt |v_θ| um 5 % bis 15 % im Vergleich zur Referenz. Eine Form der Norminflation wurde im Rahmen des Classifier-Free Guidances (CFG) untersucht, bei der die Rückskalierung der Geschwindigkeit auf eine Referenznorm zur Inferenzzeit die resultierenden Artefakte mildern kann. Allerdings lässt sich diese Korrektur zur Inferenzzeit nicht sauber auf RL übertragen: Die Rückskalierung von v_θ auf |v_{ref}| zur Inferenzzeit verbessert weder die Belohnung noch behebt sie die Qualitätsverschlechterung, da die Inflation in die Modellgewichte koadaptiert ist. Darüber hinaus zeigt eine adjungierte Sensitivitätsanalyse, dass die Magnitudenrückskalierung der Geschwindigkeit auf Batch-Ebene kein kohärentes Belohnungssignal erster Ordnung trägt, was darauf hindeutet, dass die Unterdrückung der Norminflation wahrscheinlich keine konsistent belohnungstragende Komponente entfernt. Da die Renormierung zur Inferenzzeit fehlschlägt, während die Normunterdrückung keine Belohnungskosten verursacht, ist eine Intervention zur Trainingszeit die geeignete Strategie. Zusammen motivieren diese Erkenntnisse \methodname, eine Hinge-Strafe, die nur aktiviert wird, wenn |v_θ| |v_{ref}| überschreitet, und additiv mit jedem geschwindigkeitslokalen Basisverlust zusammengesetzt wird. Über zwei Basismodelle, drei Post-Training-Methoden und zwei Belohnungsproxys hinweg verbessert \methodname konsistent die von MLLM bewertete Bildqualität und den forensischen Realismus, während die Belohnung erhalten bleibt, wobei sich die Verbesserungen bei Inferenz mit wenigen Schritten verstärken und nicht durch frühes Stoppen erklärt werden.

English

Reinforcement learning (RL) post-training improves the reward alignment of flow-based generators, but often degrades perceptual quality in ways that are not captured by the reward proxy. We identify a simple structural signature of this drift: across three post-training methods (NFT, AWM, DPO), RL fine-tuning inflates the per-step velocity norm |v_θ| by 5% to 15% relative to the reference. A form of norm inflation has been studied in classifier-free guidance (CFG), where rescaling the velocity back to a reference norm at inference time can mitigate the resulting artifacts. However, this inference-time correction does not transfer cleanly to RL: rescaling v_θ to match |v_{ref}| at inference time neither improves reward nor fixes the quality degradation, because the inflation is co-adapted into the model weights. Furthermore, an adjoint sensitivity analysis shows that velocity magnitude rescaling carries no coherent first-order reward signal at the batch level, indicating that suppressing norm inflation is unlikely to remove a consistently reward-carrying component. Since inference-time renormalization fails while norm suppression carries no reward cost, training-time intervention is the appropriate strategy. Together, these findings motivate \methodname, a hinge penalty that activates only when |v_θ| exceeds |v_{ref}| and composes additively with any velocity-local base loss. Across two base models, three post-training methods, and two reward proxies, \methodname consistently improves MLLM-judged image quality and forensic realism while preserving reward, with gains that amplify under few-step inference and are not explained by early stopping.