"Componentes Principais" Habilitam uma Nova Linguagem de Imagens

"Principal Components" Enable A New Language of Images

March 11, 2025

Autores: Xin Wen, Bingchen Zhao, Ismail Elezi, Jiankang Deng, Xiaojuan Qi

cs.AI

Resumo

Apresentamos uma nova estrutura de tokenização visual que incorpora uma estrutura semelhante à PCA (Análise de Componentes Principais) comprovável no espaço latente de tokens. Enquanto os tokenizadores visuais existentes priorizam principalmente a fidelidade de reconstrução, eles frequentemente negligenciam as propriedades estruturais do espaço latente — um fator crítico tanto para a interpretabilidade quanto para tarefas subsequentes. Nosso método gera uma sequência causal de tokens unidimensional para imagens, onde cada token sucessivo contribui com informações não sobrepostas e com uma variância explicada decrescente garantida matematicamente, análoga à análise de componentes principais. Essa restrição estrutural garante que o tokenizador extraia primeiro as características visuais mais salientes, com cada token subsequente adicionando informações complementares, porém decrescentes. Além disso, identificamos e resolvemos um efeito de acoplamento espectro-semântico que causa o emaranhamento indesejado de conteúdo semântico de alto nível e detalhes espectrais de baixo nível nos tokens, utilizando um decodificador de difusão. Experimentos demonstram que nossa abordagem alcança desempenho de reconstrução de ponta e permite melhor interpretabilidade, alinhando-se com o sistema visual humano. Além disso, modelos auto-regressivos treinados em nossas sequências de tokens alcançam desempenho comparável aos métodos atuais de ponta, enquanto exigem menos tokens para treinamento e inferência.

English

We introduce a novel visual tokenization framework that embeds a provable PCA-like structure into the latent token space. While existing visual tokenizers primarily optimize for reconstruction fidelity, they often neglect the structural properties of the latent space -- a critical factor for both interpretability and downstream tasks. Our method generates a 1D causal token sequence for images, where each successive token contributes non-overlapping information with mathematically guaranteed decreasing explained variance, analogous to principal component analysis. This structural constraint ensures the tokenizer extracts the most salient visual features first, with each subsequent token adding diminishing yet complementary information. Additionally, we identified and resolved a semantic-spectrum coupling effect that causes the unwanted entanglement of high-level semantic content and low-level spectral details in the tokens by leveraging a diffusion decoder. Experiments demonstrate that our approach achieves state-of-the-art reconstruction performance and enables better interpretability to align with the human vision system. Moreover, auto-regressive models trained on our token sequences achieve performance comparable to current state-of-the-art methods while requiring fewer tokens for training and inference.