NormGuard: Restricciones de Norma que Preservan la Recompensa en el Aprendizaje por Refuerzo con Flujo-Matching

Resumen

El entrenamiento posterior con aprendizaje por refuerzo (RL) mejora la alineación de recompensas de los generadores basados en flujos, pero a menudo degrada la calidad perceptual de formas que no son capturadas por el proxy de recompensa. Identificamos una firma estructural simple de esta deriva: en tres métodos de entrenamiento posterior (NFT, AWM, DPO), el ajuste fino con RL infla la norma de velocidad por paso |v_θ| entre un 5 % y un 15 % en relación con la referencia. Se ha estudiado una forma de inflación de norma en la guía libre de clasificador (CFG), donde reescalar la velocidad de vuelta a una norma de referencia en el tiempo de inferencia puede mitigar los artefactos resultantes. Sin embargo, esta corrección en tiempo de inferencia no se transfiere limpiamente a RL: reescalar v_θ para igualar |v_ref| en tiempo de inferencia ni mejora la recompensa ni soluciona la degradación de calidad, porque la inflación está coadaptada en los pesos del modelo. Además, un análisis de sensibilidad adjunto muestra que el reescalado de la magnitud de la velocidad no porta una señal de recompensa de primer orden coherente a nivel de lote, lo que indica que suprimir la inflación de norma probablemente no elimine un componente que porte recompensa de manera consistente. Dado que la renormalización en tiempo de inferencia falla mientras que la supresión de norma no tiene costo de recompensa, la intervención en el tiempo de entrenamiento es la estrategia adecuada. En conjunto, estos hallazgos motivan \methodname, una penalización tipo bisagra que se activa solo cuando |v_θ| supera a |v_ref| y se compone aditivamente con cualquier pérdida base local en la velocidad. En dos modelos base, tres métodos de entrenamiento posterior y dos proxies de recompensa, \methodname mejora de manera consistente la calidad de imagen evaluada por MLLM y el realismo forense, mientras preserva la recompensa, con ganancias que se amplifican bajo inferencia de pocos pasos y que no se explican por la parada temprana.

English

Reinforcement learning (RL) post-training improves the reward alignment of flow-based generators, but often degrades perceptual quality in ways that are not captured by the reward proxy. We identify a simple structural signature of this drift: across three post-training methods (NFT, AWM, DPO), RL fine-tuning inflates the per-step velocity norm |v_θ| by 5% to 15% relative to the reference. A form of norm inflation has been studied in classifier-free guidance (CFG), where rescaling the velocity back to a reference norm at inference time can mitigate the resulting artifacts. However, this inference-time correction does not transfer cleanly to RL: rescaling v_θ to match |v_{ref}| at inference time neither improves reward nor fixes the quality degradation, because the inflation is co-adapted into the model weights. Furthermore, an adjoint sensitivity analysis shows that velocity magnitude rescaling carries no coherent first-order reward signal at the batch level, indicating that suppressing norm inflation is unlikely to remove a consistently reward-carrying component. Since inference-time renormalization fails while norm suppression carries no reward cost, training-time intervention is the appropriate strategy. Together, these findings motivate \methodname, a hinge penalty that activates only when |v_θ| exceeds |v_{ref}| and composes additively with any velocity-local base loss. Across two base models, three post-training methods, and two reward proxies, \methodname consistently improves MLLM-judged image quality and forensic realism while preserving reward, with gains that amplify under few-step inference and are not explained by early stopping.