Autoencoder Geométrico para Modelos de Difusão

Geometric Autoencoder for Diffusion Models

March 11, 2026

Autores: Hangyu Liu, Jianyong Wang, Yutao Sun

cs.AI

Resumo

Os modelos de difusão latente estabeleceram um novo estado da arte na geração visual de alta resolução. A integração de prioridades de Modelos de Base Visuais (Vision Foundation Models - VFMs) melhora a eficiência generativa, contudo, os projetos latentes existentes permanecem amplamente heurísticos. Essas abordagens frequentemente lutam para unificar discriminabilidade semântica, fidelidade de reconstrução e compactação latente. Neste artigo, propomos o Autoencoder Geométrico (Geometric Autoencoder - GAE), uma estrutura fundamentada que aborda sistematicamente esses desafios. Ao analisar vários paradigmas de alinhamento, o GAE constrói um alvo de supervisão semântica otimizado de baixa dimensionalidade a partir de VFMs para fornecer orientação ao autoencoder. Além disso, aproveitamos a normalização latente que substitui a restritiva divergência KL dos VAEs padrão, permitindo uma variedade latente mais estável especificamente otimizada para o aprendizado por difusão. Para garantir uma reconstrução robusta sob ruído de alta intensidade, o GAE incorpora um mecanismo dinâmico de amostragem de ruído. Empiricamente, o GAE alcança um desempenho convincente no benchmark ImageNet-1K 256x256, atingindo um gFID de 1.82 em apenas 80 épocas e 1.31 em 800 épocas sem Orientação Livre de Classificador (Classifier-Free Guidance), superando significativamente os métodos estado da arte existentes. Para além da qualidade generativa, o GAE estabelece um equilíbrio superior entre compressão, profundidade semântica e estabilidade de reconstrução robusta. Estes resultados validam as nossas considerações de projeto, oferecendo um paradigma promissor para a modelação de difusão latente. O código e os modelos estão publicamente disponíveis em https://github.com/freezing-index/Geometric-Autoencoder-for-Diffusion-Models.

English

Latent diffusion models have established a new state-of-the-art in high-resolution visual generation. Integrating Vision Foundation Model priors improves generative efficiency, yet existing latent designs remain largely heuristic. These approaches often struggle to unify semantic discriminability, reconstruction fidelity, and latent compactness. In this paper, we propose Geometric Autoencoder (GAE), a principled framework that systematically addresses these challenges. By analyzing various alignment paradigms, GAE constructs an optimized low-dimensional semantic supervision target from VFMs to provide guidance for the autoencoder. Furthermore, we leverage latent normalization that replaces the restrictive KL-divergence of standard VAEs, enabling a more stable latent manifold specifically optimized for diffusion learning. To ensure robust reconstruction under high-intensity noise, GAE incorporates a dynamic noise sampling mechanism. Empirically, GAE achieves compelling performance on the ImageNet-1K 256 times 256 benchmark, reaching a gFID of 1.82 at only 80 epochs and 1.31 at 800 epochs without Classifier-Free Guidance, significantly surpassing existing state-of-the-art methods. Beyond generative quality, GAE establishes a superior equilibrium between compression, semantic depth and robust reconstruction stability. These results validate our design considerations, offering a promising paradigm for latent diffusion modeling. Code and models are publicly available at https://github.com/freezing-index/Geometric-Autoencoder-for-Diffusion-Models.