IDEAL: 深層アライメントによる離散表現オートエンコーダ

要旨

事前学習済み視覚基盤モデル（VFM）を基盤とした表現オートエンコーダ（RAE）は、画像生成のための意味的にリッチな潜在空間を構築する有望なアプローチとして近年注目を集めている。しかし、その再構成品質はしばしば不十分であり、その主な原因は、深層VFM表現が十分に細かな視覚的詳細を保持していないことにある。この制約は、離散化後により深刻になり、欠落した低レベル情報の回復が困難となる。実際、浅いVFM特徴量には局所的な外観や構造の詳細が豊富に保持されており、既存のRAEで用いられる深い特徴量が担う高次意味情報を補完することを我々は見出した。この相補的な特性に着想を得て、離散表現オートエンコーディングのための深層アライメントフレームワーク「Ideal」を提案する。量子化されたトークンを浅いVFM特徴量と深いVFM特徴量の両方に同時にアライメントすることで、Idealは結果として得られる離散視覚トークンが視覚的忠実度と豊かな意味情報の両方を保持することを可能にする。大規模な実験により、Idealは優れた再構成性能を示し、ImageNetにおいてrFID 0.61を達成し、従来の最良手法を0.28上回った。また、自己回帰型画像生成に用いた場合には、gFID 1.89を達成し、自己回帰型画像生成の新たな最先端を確立した。

English

Built on pretrained vision foundation models (VFMs), representation autoencoders (RAEs) have recently emerged as a promising approach for constructing semantically rich latent spaces for image generation. However, their reconstruction quality often remains suboptimal, largely because deep VFM representations do not preserve sufficient fine-grained visual detail. This limitation becomes even more severe after discretization, where missing low-level information is difficult to recover. In fact, we observe that shallow VFM features retain considerably richer local appearance and structural detail, which complements the high-level semantics carried by deep features used in existing RAEs. Motivated by this complementary property, we propose Ideal, an In-depth Alignment framework for discrete representation autoencoding. By jointly aligning quantized tokens with both shallow and deep VFM features, Ideal enables the resulting discrete visual tokens to preserve both visual fidelity and rich semantics. Extensive experiments demonstrate that Ideal yields superior reconstruction performance, achieving 0.61 rFID on ImageNet and outperforming the previous best method by 0.28. When used for autoregressive image generation, Ideal further produces a gFID of 1.89, establishing a new state of the art for autoregressive image generation.