IDEAL: La alineación en profundidad da lugar a un autoencoder de representación discreta

Resumen

Basados en modelos de base de visión preentrenados (VFMs), los autoencoders de representación (RAEs) han surgido recientemente como un enfoque prometedor para construir espacios latentes semánticamente ricos para la generación de imágenes. Sin embargo, su calidad de reconstrucción suele seguir siendo subóptima, en gran parte porque las representaciones profundas de VFM no preservan suficiente detalle visual detallado. Esta limitación se vuelve aún más severa tras la discretización, donde la información de bajo nivel faltante es difícil de recuperar. De hecho, observamos que las características superficiales de VFM retienen un detalle de apariencia local y estructural considerablemente más rico, lo que complementa la semántica de alto nivel que portan las características profundas utilizadas en los RAEs existentes. Motivados por esta propiedad complementaria, proponemos Ideal, un marco de alineación profunda para la auto-codificación de representación discreta. Al alinear conjuntamente los tokens cuantizados con características tanto superficiales como profundas de VFM, Ideal permite que los tokens visuales discretos resultantes preserven tanto la fidelidad visual como una semántica rica. Experimentos exhaustivos demuestran que Ideal produce un rendimiento de reconstrucción superior, alcanzando un rFID de 0.61 en ImageNet y superando al mejor método anterior en 0.28. Cuando se utiliza para generación de imágenes autoregresiva, Ideal produce además un gFID de 1.89, estableciendo un nuevo estado del arte para la generación de imágenes autoregresiva.

English

Built on pretrained vision foundation models (VFMs), representation autoencoders (RAEs) have recently emerged as a promising approach for constructing semantically rich latent spaces for image generation. However, their reconstruction quality often remains suboptimal, largely because deep VFM representations do not preserve sufficient fine-grained visual detail. This limitation becomes even more severe after discretization, where missing low-level information is difficult to recover. In fact, we observe that shallow VFM features retain considerably richer local appearance and structural detail, which complements the high-level semantics carried by deep features used in existing RAEs. Motivated by this complementary property, we propose Ideal, an In-depth Alignment framework for discrete representation autoencoding. By jointly aligning quantized tokens with both shallow and deep VFM features, Ideal enables the resulting discrete visual tokens to preserve both visual fidelity and rich semantics. Extensive experiments demonstrate that Ideal yields superior reconstruction performance, achieving 0.61 rFID on ImageNet and outperforming the previous best method by 0.28. When used for autoregressive image generation, Ideal further produces a gFID of 1.89, establishing a new state of the art for autoregressive image generation.