IDEAL: Глубокое согласование создает дискретный автоэнкодер представлений.

Аннотация

Построенные на основе предварительно обученных фундаментальных моделей зрения (VFMs), автоэнкодеры представлений (RAEs) недавно стали перспективным подходом для построения семантически насыщенных латентных пространств для генерации изображений. Однако качество их реконструкции часто остаётся неоптимальным, главным образом из-за того, что глубокие представления VFM не сохраняют достаточно мелких визуальных деталей. Это ограничение становится ещё более серьёзным после дискретизации, когда утраченная информация низкого уровня трудно восстанавливается. Фактически, мы наблюдаем, что мелкие признаки VFM содержат значительно более богатые локальные детали внешнего вида и структуры, что дополняет семантику высокого уровня, которую несут глубокие признаки, используемые в существующих RAE. Мотивированные этим свойством взаимодополняемости, мы предлагаем Ideal — фреймворк углублённого выравнивания для дискретного автокодирования представлений. Путём совместного выравнивания квантованных токенов как с мелкими, так и с глубокими признаками VFM, Ideal позволяет результирующим дискретным визуальным токенам сохранять как визуальную точность, так и богатую семантику. Обширные эксперименты демонстрируют, что Ideal обеспечивает превосходное качество реконструкции, достигая 0,61 rFID на ImageNet и превосходя предыдущий лучший метод на 0,28. При использовании для авторегрессивной генерации изображений Ideal дополнительно даёт gFID 1,89, устанавливая новый современный уровень для авторегрессивной генерации изображений.

English

Built on pretrained vision foundation models (VFMs), representation autoencoders (RAEs) have recently emerged as a promising approach for constructing semantically rich latent spaces for image generation. However, their reconstruction quality often remains suboptimal, largely because deep VFM representations do not preserve sufficient fine-grained visual detail. This limitation becomes even more severe after discretization, where missing low-level information is difficult to recover. In fact, we observe that shallow VFM features retain considerably richer local appearance and structural detail, which complements the high-level semantics carried by deep features used in existing RAEs. Motivated by this complementary property, we propose Ideal, an In-depth Alignment framework for discrete representation autoencoding. By jointly aligning quantized tokens with both shallow and deep VFM features, Ideal enables the resulting discrete visual tokens to preserve both visual fidelity and rich semantics. Extensive experiments demonstrate that Ideal yields superior reconstruction performance, achieving 0.61 rFID on ImageNet and outperforming the previous best method by 0.28. When used for autoregressive image generation, Ideal further produces a gFID of 1.89, establishing a new state of the art for autoregressive image generation.