IDEAL: Alinhamento em Profundidade Torna um Autoencoder de Representação Discreta

Resumo

Construídos sobre modelos de base de visão (VFMs) pré-treinados, os autoencoders de representação (RAEs) emergiram recentemente como uma abordagem promissora para a construção de espaços latentes semanticamente ricos para geração de imagens. No entanto, sua qualidade de reconstrução frequentemente permanece abaixo do ideal, em grande parte porque as representações profundas dos VFMs não preservam detalhes visuais suficientemente refinados. Essa limitação torna-se ainda mais severa após a discretização, onde informações perdidas de baixo nível são difíceis de recuperar. De fato, observamos que as características rasas dos VFMs retêm consideravelmente mais detalhes locais de aparência e estrutura, o que complementa a semântica de alto nível transportada pelas características profundas usadas nos RAEs existentes. Motivados por essa propriedade complementar, propomos o Ideal, uma estrutura de Alinhamento Profundo para autoencoding de representação discreta. Ao alinhar conjuntamente tokens quantizados com características rasas e profundas dos VFMs, o Ideal permite que os tokens visuais discretos resultantes preservem tanto a fidelidade visual quanto a semântica rica. Experimentos extensos demonstram que o Ideal produz desempenho de reconstrução superior, alcançando 0,61 rFID no ImageNet e superando o melhor método anterior em 0,28. Quando usado para geração de imagens autorregressiva, o Ideal produz ainda um gFID de 1,89, estabelecendo um novo estado da arte para geração de imagens autorregressiva.

English

Built on pretrained vision foundation models (VFMs), representation autoencoders (RAEs) have recently emerged as a promising approach for constructing semantically rich latent spaces for image generation. However, their reconstruction quality often remains suboptimal, largely because deep VFM representations do not preserve sufficient fine-grained visual detail. This limitation becomes even more severe after discretization, where missing low-level information is difficult to recover. In fact, we observe that shallow VFM features retain considerably richer local appearance and structural detail, which complements the high-level semantics carried by deep features used in existing RAEs. Motivated by this complementary property, we propose Ideal, an In-depth Alignment framework for discrete representation autoencoding. By jointly aligning quantized tokens with both shallow and deep VFM features, Ideal enables the resulting discrete visual tokens to preserve both visual fidelity and rich semantics. Extensive experiments demonstrate that Ideal yields superior reconstruction performance, achieving 0.61 rFID on ImageNet and outperforming the previous best method by 0.28. When used for autoregressive image generation, Ideal further produces a gFID of 1.89, establishing a new state of the art for autoregressive image generation.