NormGuard: норменные ограничения, сохраняющие вознаграждение, в обучении с подкреплением на основе согласования потоков

Аннотация

Послетренировочное обучение с подкреплением (RL) улучшает согласование вознаграждений генераторов на основе потоков, но часто ухудшает перцептивное качество способами, которые не улавливаются прокси-функцией вознаграждения. Мы выявляем простую структурную характеристику этого дрейфа: в рамках трех методов послетренировочного обучения (NFT, AWM, DPO) точная настройка с RL увеличивает норму скорости на шаг |v_θ| на 5–15% по сравнению с эталоном. Одна из форм инфляции нормы изучалась в безклассификаторном управлении (CFG), где масштабирование скорости обратно к эталонной норме на этапе вывода может смягчать возникающие артефакты. Однако эта коррекция на этапе вывода не переносится напрямую на RL: масштабирование v_θ для соответствия |v_{ref}| на этапе вывода не улучшает ни вознаграждение, ни качество, поскольку инфляция коадаптирована в веса модели. Кроме того, сопряженный анализ чувствительности показывает, что масштабирование величины скорости не несет когерентного сигнала вознаграждения первого порядка на уровне батча, что указывает на то, что подавление инфляции нормы вряд ли удалит компоненту, последовательно несущую вознаграждение. Поскольку перенормализация на этапе вывода не работает, а подавление нормы не несет затрат по вознаграждению, вмешательство на этапе обучения является подходящей стратегией. Совокупно эти результаты обосновывают \methodname — шарнирный штраф, который активируется только когда |v_θ| превышает |v_{ref}| и аддитивно комбинируется с любой локальной по скорости базовой функцией потерь. На двух базовых моделях, трех методах послетренировочного обучения и двух прокси-функциях вознаграждения \methodname последовательно улучшает качество изображения по оценке MLLM и судебно-медицинский реализм, сохраняя вознаграждение, причем прирост усиливается при выводе с малым числом шагов и не объясняется ранней остановкой.

English

Reinforcement learning (RL) post-training improves the reward alignment of flow-based generators, but often degrades perceptual quality in ways that are not captured by the reward proxy. We identify a simple structural signature of this drift: across three post-training methods (NFT, AWM, DPO), RL fine-tuning inflates the per-step velocity norm |v_θ| by 5% to 15% relative to the reference. A form of norm inflation has been studied in classifier-free guidance (CFG), where rescaling the velocity back to a reference norm at inference time can mitigate the resulting artifacts. However, this inference-time correction does not transfer cleanly to RL: rescaling v_θ to match |v_{ref}| at inference time neither improves reward nor fixes the quality degradation, because the inflation is co-adapted into the model weights. Furthermore, an adjoint sensitivity analysis shows that velocity magnitude rescaling carries no coherent first-order reward signal at the batch level, indicating that suppressing norm inflation is unlikely to remove a consistently reward-carrying component. Since inference-time renormalization fails while norm suppression carries no reward cost, training-time intervention is the appropriate strategy. Together, these findings motivate \methodname, a hinge penalty that activates only when |v_θ| exceeds |v_{ref}| and composes additively with any velocity-local base loss. Across two base models, three post-training methods, and two reward proxies, \methodname consistently improves MLLM-judged image quality and forensic realism while preserving reward, with gains that amplify under few-step inference and are not explained by early stopping.