Tornando o FID de Reconstrução Preditivo do FID de Geração por Difusão
Making Reconstruction FID Predictive of Diffusion Generation FID
March 5, 2026
Autores: Tongda Xu, Mingwei He, Shady Abu-Hussein, Jose Miguel Hernandez-Lobato, Haotian Zhang, Kai Zhao, Chao Zhou, Ya-Qin Zhang, Yan Wang
cs.AI
Resumo
É bem conhecido que o FID de reconstrução (rFID) de um VAE apresenta baixa correlação com o FID de geração (gFID) de um modelo de difusão latente. Propomos o FID interpolado (iFID), uma variante simples do rFID que exibe forte correlação com o gFID. Especificamente, para cada elemento no conjunto de dados, recuperamos seu vizinho mais próximo (NN) no espaço latente e interpolamos suas representações latentes. Em seguida, decodificamos o latente interpolado e calculamos o FID entre as amostras decodificadas e o conjunto de dados original. Adicionalmente, refinamos a afirmação de que o rFID correlaciona-se mal com o gFID, demonstrando que o rFID correlaciona-se com a qualidade da amostra na fase de refinamento por difusão, enquanto o iFID correlaciona-se com a qualidade da amostra na fase de navegação por difusão. Além disso, fornecemos uma explicação para o motivo pelo qual o iFID correlaciona-se bem com o gFID, e porque as métricas de reconstrução são negativamente correlacionadas com o gFID, conectando esses resultados a descobertas sobre generalização e alucinação em difusão. Empiricamente, o iFID é a primeira métrica a demonstrar uma forte correlação com o gFID de difusão, alcançando correlações lineares de Pearson e de postos de Spearman de aproximadamente 0,85. O código-fonte é fornecido em https://github.com/tongdaxu/Making-rFID-Predictive-of-Diffusion-gFID.
English
It is well known that the reconstruction FID (rFID) of a VAE is poorly correlated with the generation FID (gFID) of a latent diffusion model. We propose interpolated FID (iFID), a simple variant of rFID that exhibits a strong correlation with gFID. Specifically, for each element in the dataset, we retrieve its nearest neighbor (NN) in the latent space and interpolate their latent representations. We then decode the interpolated latent and compute the FID between the decoded samples and the original dataset. Additionally, we refine the claim that rFID correlates poorly with gFID, by showing that rFID correlates with sample quality in the diffusion refinement phase, whereas iFID correlates with sample quality in the diffusion navigation phase. Furthermore, we provide an explanation for why iFID correlates well with gFID, and why reconstruction metrics are negatively correlated with gFID, by connecting to results in the diffusion generalization and hallucination. Empirically, iFID is the first metric to demonstrate a strong correlation with diffusion gFID, achieving Pearson linear and Spearman rank correlations approximately 0.85. The source code is provided in https://github.com/tongdaxu/Making-rFID-Predictive-of-Diffusion-gFID.