Impulsionando a Modelagem Generativa de Imagens por meio da Síntese Conjunta de Imagem e Características

Boosting Generative Image Modeling via Joint Image-Feature Synthesis

April 22, 2025

Autores: Theodoros Kouzelis, Efstathios Karypidis, Ioannis Kakogeorgiou, Spyros Gidaris, Nikos Komodakis

cs.AI

Resumo

Os modelos de difusão latente (LDMs) dominam a geração de imagens de alta qualidade, mas a integração do aprendizado de representação com a modelagem generativa continua sendo um desafio. Apresentamos uma nova estrutura de modelagem generativa de imagens que preenche essa lacuna de forma harmoniosa, utilizando um modelo de difusão para modelar conjuntamente latentes de imagem de baixo nível (de um autoencoder variacional) e características semânticas de alto nível (de um codificador auto-supervisionado pré-treinado, como o DINO). Nossa abordagem de difusão latente-semântica aprende a gerar pares coerentes de imagem-característica a partir de ruído puro, melhorando significativamente tanto a qualidade generativa quanto a eficiência do treinamento, tudo isso com apenas modificações mínimas nas arquiteturas padrão de Transformadores de Difusão. Ao eliminar a necessidade de objetivos complexos de destilação, nosso design unificado simplifica o treinamento e desbloqueia uma nova e poderosa estratégia de inferência: a Orientação por Representação, que aproveita a semântica aprendida para direcionar e refinar a geração de imagens. Avaliado em cenários condicionais e incondicionais, nosso método oferece melhorias substanciais na qualidade das imagens e na velocidade de convergência do treinamento, estabelecendo uma nova direção para a modelagem generativa consciente da representação.

English

Latent diffusion models (LDMs) dominate high-quality image generation, yet integrating representation learning with generative modeling remains a challenge. We introduce a novel generative image modeling framework that seamlessly bridges this gap by leveraging a diffusion model to jointly model low-level image latents (from a variational autoencoder) and high-level semantic features (from a pretrained self-supervised encoder like DINO). Our latent-semantic diffusion approach learns to generate coherent image-feature pairs from pure noise, significantly enhancing both generative quality and training efficiency, all while requiring only minimal modifications to standard Diffusion Transformer architectures. By eliminating the need for complex distillation objectives, our unified design simplifies training and unlocks a powerful new inference strategy: Representation Guidance, which leverages learned semantics to steer and refine image generation. Evaluated in both conditional and unconditional settings, our method delivers substantial improvements in image quality and training convergence speed, establishing a new direction for representation-aware generative modeling.