NormGuard : Contraintes de norme préservant la récompense dans l'apprentissage par renforcement par appariement de flux

Résumé

L'apprentissage par renforcement (RL) en post-entraînement améliore l'alignement des récompenses des générateurs basés sur les flots, mais dégrade souvent la qualité perceptuelle d'une manière que le proxy de récompense ne capture pas. Nous identifions une signature structurelle simple de cette dérive : sur trois méthodes de post-entraînement (NFT, AWM, DPO), le fine-tuning par RL gonfle la norme de vélocité par étape |v_θ| de 5 à 15 % par rapport à la référence. Une forme de gonflement des normes a été étudiée dans le guidage sans classifieur (CFG), où le ré-échelonnement de la vélocité vers une norme de référence au moment de l'inférence peut atténuer les artéfacts qui en résultent. Cependant, cette correction à l'inférence ne se transfère pas proprement au RL : ré-échelonner v_θ pour correspondre à |v_{ref}| à l'inférence n'améliore ni la récompense ni ne corrige la dégradation de qualité, car le gonflement est co-adapté dans les poids du modèle. De plus, une analyse de sensibilité adjointe montre que le ré-échelonnement de l'amplitude de la vélocité ne porte aucun signal de récompense de premier ordre cohérent au niveau du batch, indiquant que supprimer le gonflement des normes est peu susceptible de retirer une composante porteuse de récompense de manière cohérente. Puisque la renormalisation à l'inférence échoue tandis que la suppression de la norme n'a pas de coût en récompense, une intervention au moment de l'entraînement est la stratégie appropriée. Ensemble, ces résultats motivent \methodname, une pénalité hinge qui s'active uniquement lorsque |v_θ| dépasse |v_{ref}| et se compose de manière additive avec toute perte de base locale à la vélocité. Sur deux modèles de base, trois méthodes de post-entraînement et deux proxys de récompense, \methodname améliore systématiquement la qualité d'image évaluée par MLLM et le réalisme forensique tout en préservant la récompense, avec des gains qui s'amplifient sous inférence en quelques pas et qui ne s'expliquent pas par un arrêt précoce.

English

Reinforcement learning (RL) post-training improves the reward alignment of flow-based generators, but often degrades perceptual quality in ways that are not captured by the reward proxy. We identify a simple structural signature of this drift: across three post-training methods (NFT, AWM, DPO), RL fine-tuning inflates the per-step velocity norm |v_θ| by 5% to 15% relative to the reference. A form of norm inflation has been studied in classifier-free guidance (CFG), where rescaling the velocity back to a reference norm at inference time can mitigate the resulting artifacts. However, this inference-time correction does not transfer cleanly to RL: rescaling v_θ to match |v_{ref}| at inference time neither improves reward nor fixes the quality degradation, because the inflation is co-adapted into the model weights. Furthermore, an adjoint sensitivity analysis shows that velocity magnitude rescaling carries no coherent first-order reward signal at the batch level, indicating that suppressing norm inflation is unlikely to remove a consistently reward-carrying component. Since inference-time renormalization fails while norm suppression carries no reward cost, training-time intervention is the appropriate strategy. Together, these findings motivate \methodname, a hinge penalty that activates only when |v_θ| exceeds |v_{ref}| and composes additively with any velocity-local base loss. Across two base models, three post-training methods, and two reward proxies, \methodname consistently improves MLLM-judged image quality and forensic realism while preserving reward, with gains that amplify under few-step inference and are not explained by early stopping.