AdvFD: 敵対的フレシェ距離損失による視覚生成の向上

要旨

フレシェ距離は最近、生成器のポストトレーニングにおける効果的な分布レベルの目的関数として登場し、従来のサンプルレベルの拡散損失やフローマッチング損失を補完している。しかし、フレシェ目的関数を直接最適化すると、フレシェハッキングを引き起こす可能性がある。目標指標は改善し続けるが、視覚的品質や他の特徴空間におけるフレシェ整合性は停滞または悪化することがある。我々はこの失敗の原因を、既存のフレシェ損失で用いられる静的で事前学習済みの特徴空間に帰属する。これらの特徴空間は、実分布と生成分布の差に関する不完全かつ固定的な視点しか提供しない。この制限に対処するため、我々は敵対的フレシェ距離（AdvFD）を提案する。これはFD損失における静的表现ターゲットを、較正された敵対的学習表现で補完する。AdvFDは、元の静的フレシェ目的関数に学習可能な表现を追加し、その表现が実サンプルと生成サンプル間のフレシェ乖離を敵対的に最大化する一方、生成器は得られた適応的特徴空間における同じ乖離を最小化する。敵対的表现が特徴増幅によって目的関数を自明に増加させるのを防ぐため、さらに実特徴白色化を導入する。これはそのスケールと共分散の幾何構造を正規化し、min-max最適化を安定化する。広範な実験により、AdvFDがJiTおよびpMFの両バックボーン、および異なるモデル規模にわたって、一段生成器のポストトレーニングを一貫して改善することが示される。

English

Fréchet distance has recently emerged as an effective distribution-level objective for generator post-training, complementing the conventional sample-level diffusion and flow-matching losses. However, directly optimizing Fréchet objectives can cause Fréchet hacking. The target metrics keep improving, but visual quality and Fréchet alignment in other feature spaces may stagnate or deteriorate. We attribute this failure to the static pretrained feature spaces used by existing Fréchet losses. These feature spaces provide incomplete and fixed views of the differences between real and generated distributions. To address this limitation, we propose Adversarial Fréchet Distance (AdvFD), which complements the static representation targets in FD-Loss with a calibrated adversarially learned representation. AdvFD augments the original static Fréchet objective with a learnable representation that adversarially maximizes the Fréchet discrepancy between real and generated samples, while the generator minimizes the same discrepancy in the resulting adaptive feature space. To prevent the adversarial representation from trivially increasing the objective through feature amplification, we further introduce real-feature whitening, which normalizes its scale and covariance geometry and stabilizes the min--max optimization. Extensive experiments show that AdvFD consistently improves one-step generator post-training across both JiT and pMF backbones and across different model scales.