Wie die Rekonstruktions-FID zur Vorhersage der Diffusionsgenerierungs-FID genutzt werden kann
Making Reconstruction FID Predictive of Diffusion Generation FID
March 5, 2026
Autoren: Tongda Xu, Mingwei He, Shady Abu-Hussein, Jose Miguel Hernandez-Lobato, Haotian Zhang, Kai Zhao, Chao Zhou, Ya-Qin Zhang, Yan Wang
cs.AI
Zusammenfassung
Es ist bekannt, dass der Rekonstruktions-FID (rFID) eines VAE nur schwach mit dem Generierungs-FID (gFID) eines latenten Diffusionsmodells korreliert. Wir schlagen den interpolierten FID (iFID) vor, eine einfache Variante des rFID, die eine starke Korrelation mit dem gFID aufweist. Konkret ermitteln wir für jedes Element im Datensatz seinen nächsten Nachbarn (NN) im latenten Raum und interpolieren deren latente Repräsentationen. Anschließend dekodieren wir die interpolierten Latents und berechnen den FID zwischen den dekodierten Stichproben und dem ursprünglichen Datensatz. Zusätzlich präzisieren wir die Behauptung, dass rFID nur schwach mit gFID korreliert, indem wir zeigen, dass rFID mit der Stichprobenqualität in der Diffusionsverfeinerungsphase korreliert, während iFID mit der Stichprobenqualität in der Diffusionsnavigationsphase korreliert. Des Weiteren liefern wir eine Erklärung dafür, warum iFID gut mit gFID korreliert und warum Rekonstruktionsmetriken negativ mit gFID korrelieren, indem wir eine Verbindung zu Ergebnissen aus der Diffusionsverallgemeinerung und -halluzination herstellen. Empirisch ist iFID die erste Metrik, die eine starke Korrelation mit dem Diffusions-gFID demonstriert und dabei Pearson-Linear- und Spearman-Rangkorrelationen von etwa 0,85 erreicht. Der Quellcode ist unter https://github.com/tongdaxu/Making-rFID-Predictive-of-Diffusion-gFID verfügbar.
English
It is well known that the reconstruction FID (rFID) of a VAE is poorly correlated with the generation FID (gFID) of a latent diffusion model. We propose interpolated FID (iFID), a simple variant of rFID that exhibits a strong correlation with gFID. Specifically, for each element in the dataset, we retrieve its nearest neighbor (NN) in the latent space and interpolate their latent representations. We then decode the interpolated latent and compute the FID between the decoded samples and the original dataset. Additionally, we refine the claim that rFID correlates poorly with gFID, by showing that rFID correlates with sample quality in the diffusion refinement phase, whereas iFID correlates with sample quality in the diffusion navigation phase. Furthermore, we provide an explanation for why iFID correlates well with gFID, and why reconstruction metrics are negatively correlated with gFID, by connecting to results in the diffusion generalization and hallucination. Empirically, iFID is the first metric to demonstrate a strong correlation with diffusion gFID, achieving Pearson linear and Spearman rank correlations approximately 0.85. The source code is provided in https://github.com/tongdaxu/Making-rFID-Predictive-of-Diffusion-gFID.