NormGuard: Restrições de Norma com Preservação de Recompensa em Aprendizagem por Reforço com Correspondência de Fluxo

Resumo

O pós-treinamento por aprendizagem por reforço (RL) melhora o alinhamento de recompensa de geradores baseados em fluxo, mas frequentemente degrada a qualidade perceptual de maneiras que não são capturadas pelo proxy de recompensa. Identificamos uma assinatura estrutural simples desse desvio: em três métodos de pós-treinamento (NFT, AWM, DPO), o ajuste fino por RL infla a norma da velocidade por passo |v_θ| em 5% a 15% em relação à referência. Uma forma de inflação de norma foi estudada na orientação sem classificador (CFG), onde o redimensionamento da velocidade de volta a uma norma de referência no momento da inferência pode mitigar os artefatos resultantes. No entanto, essa correção no momento da inferência não se transfere de forma limpa para RL: redimensionar v_θ para igualar |v_{ref}| na inferência não melhora a recompensa nem corrige a degradação de qualidade, pois a inflação está coadaptada aos pesos do modelo. Além disso, uma análise de sensibilidade adjunta mostra que o redimensionamento da magnitude da velocidade não carrega um sinal de recompensa de primeira ordem coerente no nível de lote, indicando que suprimir a inflação da norma dificilmente removerá um componente que consistentemente carrega recompensa. Como a renormalização na inferência falha enquanto a supressão da norma não acarreta custo de recompensa, a intervenção durante o treinamento é a estratégia adequada. Em conjunto, essas descobertas motivam o \methodname, uma penalidade de dobradiça que é ativada apenas quando |v_θ| excede |v_{ref}| e se compõe aditivamente com qualquer perda base local à velocidade. Em dois modelos base, três métodos de pós-treinamento e dois proxies de recompensa, o \methodname melhora consistentemente a qualidade de imagem julgada por MLLM e o realismo forense, preservando a recompensa, com ganhos que se amplificam sob inferência de poucos passos e não são explicados por parada antecipada.

English

Reinforcement learning (RL) post-training improves the reward alignment of flow-based generators, but often degrades perceptual quality in ways that are not captured by the reward proxy. We identify a simple structural signature of this drift: across three post-training methods (NFT, AWM, DPO), RL fine-tuning inflates the per-step velocity norm |v_θ| by 5% to 15% relative to the reference. A form of norm inflation has been studied in classifier-free guidance (CFG), where rescaling the velocity back to a reference norm at inference time can mitigate the resulting artifacts. However, this inference-time correction does not transfer cleanly to RL: rescaling v_θ to match |v_{ref}| at inference time neither improves reward nor fixes the quality degradation, because the inflation is co-adapted into the model weights. Furthermore, an adjoint sensitivity analysis shows that velocity magnitude rescaling carries no coherent first-order reward signal at the batch level, indicating that suppressing norm inflation is unlikely to remove a consistently reward-carrying component. Since inference-time renormalization fails while norm suppression carries no reward cost, training-time intervention is the appropriate strategy. Together, these findings motivate \methodname, a hinge penalty that activates only when |v_θ| exceeds |v_{ref}| and composes additively with any velocity-local base loss. Across two base models, three post-training methods, and two reward proxies, \methodname consistently improves MLLM-judged image quality and forensic realism while preserving reward, with gains that amplify under few-step inference and are not explained by early stopping.