拡散生成のFIDを予測可能にする再構成FID

要旨

VAEの再構成FID（rFID）と潜在拡散モデルの生成FID（gFID）の相関が低いことはよく知られている。本研究では、gFIDと強い相関を示すrFIDの簡易な変種である、補間FID（iFID）を提案する。具体的には、データセットの各要素について、潜在空間内での最近傍点を取得し、それらの潜在表現を補間する。その後、補間された潜在変数をデコードし、デコードされたサンプルと元のデータセットとの間のFIDを計算する。さらに、rFIDとgFIDの相関が低いという主張を精緻化し、rFIDが拡散モデルのリファインメント段階でのサンプル品質と相関するのに対し、iFIDはナビゲーション段階でのサンプル品質と相関することを示す。加えて、拡散モデルの一般化と幻覚に関する結果と関連付けることで、iFIDがgFIDと良好に相関する理由、および再構成指標がgFIDと負の相関を持つ理由について説明する。実験により、iFIDは拡散モデルのgFIDとの強い相関（ピアソンの線形相関係数およびスピアマンの順位相関係数が約0.85）を示す初の指標であることを実証する。ソースコードはhttps://github.com/tongdaxu/Making-rFID-Predictive-of-Diffusion-gFIDで公開されている。

English

It is well known that the reconstruction FID (rFID) of a VAE is poorly correlated with the generation FID (gFID) of a latent diffusion model. We propose interpolated FID (iFID), a simple variant of rFID that exhibits a strong correlation with gFID. Specifically, for each element in the dataset, we retrieve its nearest neighbor (NN) in the latent space and interpolate their latent representations. We then decode the interpolated latent and compute the FID between the decoded samples and the original dataset. Additionally, we refine the claim that rFID correlates poorly with gFID, by showing that rFID correlates with sample quality in the diffusion refinement phase, whereas iFID correlates with sample quality in the diffusion navigation phase. Furthermore, we provide an explanation for why iFID correlates well with gFID, and why reconstruction metrics are negatively correlated with gFID, by connecting to results in the diffusion generalization and hallucination. Empirically, iFID is the first metric to demonstrate a strong correlation with diffusion gFID, achieving Pearson linear and Spearman rank correlations approximately 0.85. The source code is provided in https://github.com/tongdaxu/Making-rFID-Predictive-of-Diffusion-gFID.

拡散生成のFIDを予測可能にする再構成FID

Making Reconstruction FID Predictive of Diffusion Generation FID

要旨

Support