NormGuard: 플로우 매칭 강화 학습에서의 보상 보존 노름 제약

초록

강화학습(RL) 사후 훈련은 흐름 기반 생성기의 보상 정렬을 개선하지만, 보상 프록시가 포착하지 못하는 방식으로 지각적 품질을 저하시키는 경우가 많다. 우리는 이러한 드리프트의 단순한 구조적 징후를 확인했다: 세 가지 사후 훈련 방법(NFT, AWM, DPO)에 걸쳐, RL 미세 조정은 단계별 속도 노름 |v_θ|을 기준 모델 대비 5%~15% 증가시킨다. 이러한 노름 팽창의 한 형태는 분류기 없는 유도(CFG)에서 연구되었으며, 추론 시 속도를 기준 노름으로 다시 조정하면 결과적인 아티팩트를 완화할 수 있다. 그러나 이러한 추론 시 보정은 RL에 깔끔하게 전이되지 않는다: 추론 시 v_θ를 |v_{ref}|에 맞게 재조정하는 것은 보상을 개선하지도 못하고 품질 저하를 수정하지도 못하는데, 이는 팽창이 모델 가중치에 공동 적응되었기 때문이다. 더욱이, 수반 민감도 분석은 속도 크기 재조정이 배치 수준에서 일관된 일차 보상 신호를 전달하지 않음을 보여주며, 이는 노름 팽창을 억제하는 것이 지속적으로 보상을 전달하는 성분을 제거할 가능성이 낮음을 나타낸다. 추론 시 재정규화가 실패하고 노름 억제가 보상 비용을 수반하지 않으므로, 훈련 중 개입이 적절한 전략이다. 이러한 발견들을 종합하여, |v_θ|가 |v_{ref}|를 초과할 때만 활성화되고 속도 지역 기저 손실과 가산적으로 결합되는 힌지 패널티인 \methodname을 제안한다. 두 가지 기저 모델, 세 가지 사후 훈련 방법, 두 가지 보상 프록시에 걸쳐, \methodname은 보상을 유지하면서 MLLM 평가 이미지 품질과 법의학적 현실성을 일관되게 개선하며, 그 이득은 소수 단계 추론 하에서 증폭되고 조기 중단으로 설명되지 않는다.

English

Reinforcement learning (RL) post-training improves the reward alignment of flow-based generators, but often degrades perceptual quality in ways that are not captured by the reward proxy. We identify a simple structural signature of this drift: across three post-training methods (NFT, AWM, DPO), RL fine-tuning inflates the per-step velocity norm |v_θ| by 5% to 15% relative to the reference. A form of norm inflation has been studied in classifier-free guidance (CFG), where rescaling the velocity back to a reference norm at inference time can mitigate the resulting artifacts. However, this inference-time correction does not transfer cleanly to RL: rescaling v_θ to match |v_{ref}| at inference time neither improves reward nor fixes the quality degradation, because the inflation is co-adapted into the model weights. Furthermore, an adjoint sensitivity analysis shows that velocity magnitude rescaling carries no coherent first-order reward signal at the batch level, indicating that suppressing norm inflation is unlikely to remove a consistently reward-carrying component. Since inference-time renormalization fails while norm suppression carries no reward cost, training-time intervention is the appropriate strategy. Together, these findings motivate \methodname, a hinge penalty that activates only when |v_θ| exceeds |v_{ref}| and composes additively with any velocity-local base loss. Across two base models, three post-training methods, and two reward proxies, \methodname consistently improves MLLM-judged image quality and forensic realism while preserving reward, with gains that amplify under few-step inference and are not explained by early stopping.