IDEAL : Un alignement en profondeur rend un autoencodeur à représentation discrète.

Résumé

Construits sur des modèles de base de vision (VFM) pré-entraînés, les autoencodeurs de représentation (RAE) sont récemment apparus comme une approche prometteuse pour créer des espaces latents sémantiquement riches pour la génération d'images. Cependant, leur qualité de reconstruction reste souvent sous-optimale, principalement parce que les représentations profondes des VFM ne préservent pas suffisamment les détails visuels fins. Cette limitation devient encore plus sévère après discrétisation, où les informations de bas niveau manquantes sont difficiles à récupérer. En fait, nous observons que les caractéristiques superficielles des VFM retiennent considérablement plus de détails locaux d'apparence et de structure, ce qui complète la sémantique de haut niveau portée par les caractéristiques profondes utilisées dans les RAE existants. Motivés par cette propriété complémentaire, nous proposons Ideal, un cadre d'alignement approfondi pour l'autoencodage discret de représentations. En alignant conjointement les tokens quantifiés avec les caractéristiques superficielles et profondes des VFM, Ideal permet aux tokens visuels discrets résultants de préserver à la fois la fidélité visuelle et une sémantique riche. Des expériences approfondies montrent qu'Ideal produit des performances de reconstruction supérieures, atteignant un rFID de 0,61 sur ImageNet et surpassant la meilleure méthode précédente de 0,28. Utilisé pour la génération d'images autorégressive, Ideal obtient en outre un gFID de 1,89, établissant un nouvel état de l'art pour la génération d'images autorégressive.

English

Built on pretrained vision foundation models (VFMs), representation autoencoders (RAEs) have recently emerged as a promising approach for constructing semantically rich latent spaces for image generation. However, their reconstruction quality often remains suboptimal, largely because deep VFM representations do not preserve sufficient fine-grained visual detail. This limitation becomes even more severe after discretization, where missing low-level information is difficult to recover. In fact, we observe that shallow VFM features retain considerably richer local appearance and structural detail, which complements the high-level semantics carried by deep features used in existing RAEs. Motivated by this complementary property, we propose Ideal, an In-depth Alignment framework for discrete representation autoencoding. By jointly aligning quantized tokens with both shallow and deep VFM features, Ideal enables the resulting discrete visual tokens to preserve both visual fidelity and rich semantics. Extensive experiments demonstrate that Ideal yields superior reconstruction performance, achieving 0.61 rFID on ImageNet and outperforming the previous best method by 0.28. When used for autoregressive image generation, Ideal further produces a gFID of 1.89, establishing a new state of the art for autoregressive image generation.