AdvFD: 적대적 프레셰 거리 손실을 통한 시각적 생성 향상

초록

프레셰 거리(Fréchet distance)는 최근 생성기 사후 학습(generator post-training)을 위한 효과적인 분포 수준 목적 함수로 부상하면서, 기존의 샘플 수준 확산(diffusion) 및 플로우 매칭(flow-matching) 손실을 보완하고 있다. 그러나 프레셰 목적 함수를 직접 최적화하면 프레셰 해킹(Fréchet hacking)이 발생할 수 있다. 목표 지표는 지속적으로 개선되지만, 시각적 품질과 다른 특징 공간에서의 프레셰 정합성은 정체되거나 악화될 수 있다. 우리는 이러한 실패의 원인을 기존 프레셰 손실들이 사용하는 정적 사전 학습 특징 공간(static pretrained feature space)에서 찾는다. 이러한 특징 공간은 실제 분포와 생성 분포 간의 차이에 대해 불완전하고 고정된 관점만을 제공한다. 이 한계를 해결하기 위해 우리는 적대적 프레셰 거리(AdvFD, Adversarial Fréchet Distance)를 제안한다. AdvFD는 FD 손실의 정적 표현 목표를 보정된(calibrated) 적대적 학습 표현으로 보완한다. AdvFD는 기존의 정적 프레셰 목적 함수에 학습 가능한 표현을 추가하여, 해당 표현이 실제 샘플과 생성 샘플 간의 프레셰 불일치를 적대적으로 최대화하도록 하고, 생성기는 결과적으로 얻어진 적응형 특징 공간에서 동일한 불일치를 최소화하도록 한다. 적대적 표현이 특징 증폭(feature amplification)을 통해 목적 함수를 사소하게 증가시키는 것을 방지하기 위해, 우리는 실제 특징 백색화(real-feature whitening)를 추가로 도입하여 척도와 공분산 기하 구조를 정규화하고 최소-최대 최적화를 안정화한다. 광범위한 실험을 통해 AdvFD가 JiT 및 pMF 백본과 다양한 모델 규모에 걸쳐 단일 단계 생성기 사후 학습을 일관되게 개선함을 보여준다.

English

Fréchet distance has recently emerged as an effective distribution-level objective for generator post-training, complementing the conventional sample-level diffusion and flow-matching losses. However, directly optimizing Fréchet objectives can cause Fréchet hacking. The target metrics keep improving, but visual quality and Fréchet alignment in other feature spaces may stagnate or deteriorate. We attribute this failure to the static pretrained feature spaces used by existing Fréchet losses. These feature spaces provide incomplete and fixed views of the differences between real and generated distributions. To address this limitation, we propose Adversarial Fréchet Distance (AdvFD), which complements the static representation targets in FD-Loss with a calibrated adversarially learned representation. AdvFD augments the original static Fréchet objective with a learnable representation that adversarially maximizes the Fréchet discrepancy between real and generated samples, while the generator minimizes the same discrepancy in the resulting adaptive feature space. To prevent the adversarial representation from trivially increasing the objective through feature amplification, we further introduce real-feature whitening, which normalizes its scale and covariance geometry and stabilizes the min--max optimization. Extensive experiments show that AdvFD consistently improves one-step generator post-training across both JiT and pMF backbones and across different model scales.