IDEAL: Diepgaande Afstemming Maakt een Discrete Representatie-AutoEncoder

Samenvatting

Gebaseerd op voorgetrainde visie-fundamentmodellen (VFMs) zijn representatie-auto-encoders (RAEs) recentelijk naar voren gekomen als een veelbelovende aanpak voor het construeren van semantisch rijke latente ruimtes voor beeldgeneratie. Hun reconstructiekwaliteit blijft echter vaak suboptimaal, grotendeels omdat diepe VFM-representaties onvoldoende fijnmazig visueel detail behouden. Deze beperking wordt nog ernstiger na discretisatie, waar ontbrekende laag-niveau-informatie moeilijk te herstellen is. In feite observeren we dat ondiepe VFM-kenmerken aanzienlijk rijkere lokale verschijnings- en structuurdetails bevatten, wat een aanvulling vormt op de hoog-niveau-semantiek die wordt gedragen door diepe kenmerken die in bestaande RAEs worden gebruikt. Gemotiveerd door deze complementaire eigenschap stellen we Ideal voor, een diepgaand aligneringskader voor discrete representatie-auto-encodering. Door gekwantificeerde tokens gezamenlijk uit te lijnen met zowel ondiepe als diepe VFM-kenmerken, stelt Ideal de resulterende discrete visuele tokens in staat om zowel visuele getrouwheid als rijke semantiek te behouden. Uitgebreide experimenten tonen aan dat Ideal superieure reconstructieprestaties levert, met een rFID van 0,61 op ImageNet, waarmee de vorige beste methode met 0,28 wordt overtroffen. Bij gebruik voor autoregressieve beeldgeneratie produceert Ideal verder een gFID van 1,89, waarmee een nieuwe state-of-the-art voor autoregressieve beeldgeneratie wordt gevestigd.

English

Built on pretrained vision foundation models (VFMs), representation autoencoders (RAEs) have recently emerged as a promising approach for constructing semantically rich latent spaces for image generation. However, their reconstruction quality often remains suboptimal, largely because deep VFM representations do not preserve sufficient fine-grained visual detail. This limitation becomes even more severe after discretization, where missing low-level information is difficult to recover. In fact, we observe that shallow VFM features retain considerably richer local appearance and structural detail, which complements the high-level semantics carried by deep features used in existing RAEs. Motivated by this complementary property, we propose Ideal, an In-depth Alignment framework for discrete representation autoencoding. By jointly aligning quantized tokens with both shallow and deep VFM features, Ideal enables the resulting discrete visual tokens to preserve both visual fidelity and rich semantics. Extensive experiments demonstrate that Ideal yields superior reconstruction performance, achieving 0.61 rFID on ImageNet and outperforming the previous best method by 0.28. When used for autoregressive image generation, Ideal further produces a gFID of 1.89, establishing a new state of the art for autoregressive image generation.