Rendre le FID de reconstruction prédictif du FID de génération par diffusion
Making Reconstruction FID Predictive of Diffusion Generation FID
March 5, 2026
Auteurs: Tongda Xu, Mingwei He, Shady Abu-Hussein, Jose Miguel Hernandez-Lobato, Haotian Zhang, Kai Zhao, Chao Zhou, Ya-Qin Zhang, Yan Wang
cs.AI
Résumé
Il est bien connu que le FID de reconstruction (rFID) d'un VAE est faiblement corrélé avec le FID de génération (gFID) d'un modèle de diffusion latent. Nous proposons le FID interpolé (iFID), une variante simple du rFID qui présente une forte corrélation avec le gFID. Concrètement, pour chaque élément de l'ensemble de données, nous récupérons son plus proche voisin (NN) dans l'espace latent et interpolons leurs représentations latentes. Nous décodons ensuite le latent interpolé et calculons le FID entre les échantillons décodés et l'ensemble de données original. De plus, nous affinons l'affirmation selon laquelle le rFID est faiblement corrélé au gFID, en montrant que le rFID est corrélé à la qualité des échantillons dans la phase de raffinement par diffusion, tandis que l'iFID est corrélé à la qualité des échantillons dans la phase de navigation par diffusion. Par ailleurs, nous expliquons pourquoi l'iFID est bien corrélé au gFID, et pourquoi les métriques de reconstruction sont négativement corrélées au gFID, en établissant un lien avec des résultats sur la généralisation et l'hallucination dans les modèles de diffusion. Empiriquement, l'iFID est la première métrique à démontrer une forte corrélation avec le gFID de diffusion, atteignant des corrélations linéaires de Pearson et des corrélations de rang de Spearman d'environ 0,85. Le code source est disponible à l'adresse https://github.com/tongdaxu/Making-rFID-Predictive-of-Diffusion-gFID.
English
It is well known that the reconstruction FID (rFID) of a VAE is poorly correlated with the generation FID (gFID) of a latent diffusion model. We propose interpolated FID (iFID), a simple variant of rFID that exhibits a strong correlation with gFID. Specifically, for each element in the dataset, we retrieve its nearest neighbor (NN) in the latent space and interpolate their latent representations. We then decode the interpolated latent and compute the FID between the decoded samples and the original dataset. Additionally, we refine the claim that rFID correlates poorly with gFID, by showing that rFID correlates with sample quality in the diffusion refinement phase, whereas iFID correlates with sample quality in the diffusion navigation phase. Furthermore, we provide an explanation for why iFID correlates well with gFID, and why reconstruction metrics are negatively correlated with gFID, by connecting to results in the diffusion generalization and hallucination. Empirically, iFID is the first metric to demonstrate a strong correlation with diffusion gFID, achieving Pearson linear and Spearman rank correlations approximately 0.85. The source code is provided in https://github.com/tongdaxu/Making-rFID-Predictive-of-Diffusion-gFID.