"I Componenti Principali" Abilitano un Nuovo Linguaggio delle Immagini

"Principal Components" Enable A New Language of Images

March 11, 2025

Autori: Xin Wen, Bingchen Zhao, Ismail Elezi, Jiankang Deng, Xiaojuan Qi

cs.AI

Abstract

Introduciamo un nuovo framework di tokenizzazione visiva che incorpora una struttura simile alla PCA dimostrabile nello spazio latente dei token. Mentre gli attuali tokenizzatori visivi ottimizzano principalmente per la fedeltà di ricostruzione, spesso trascurano le proprietà strutturali dello spazio latente — un fattore cruciale sia per l'interpretabilità che per i task downstream. Il nostro metodo genera una sequenza causale 1D di token per le immagini, in cui ogni token successivo contribuisce con informazioni non sovrapposte e con una varianza spiegata matematicamente garantita in diminuzione, analogamente all'analisi delle componenti principali. Questo vincolo strutturale assicura che il tokenizzatore estragga prima le caratteristiche visive più salienti, con ogni token successivo che aggiunge informazioni complementari ma decrescenti. Inoltre, abbiamo identificato e risolto un effetto di accoppiamento semantico-spettrale che causa l'indesiderato intreccio di contenuto semantico di alto livello e dettagli spettrali di basso livello nei token, sfruttando un decoder di diffusione. Gli esperimenti dimostrano che il nostro approccio raggiunge prestazioni di ricostruzione all'avanguardia e consente una migliore interpretabilità in linea con il sistema visivo umano. Inoltre, i modelli auto-regressivi addestrati sulle nostre sequenze di token raggiungono prestazioni paragonabili ai metodi attuali più avanzati, pur richiedendo un numero inferiore di token per l'addestramento e l'inferenza.

English

We introduce a novel visual tokenization framework that embeds a provable PCA-like structure into the latent token space. While existing visual tokenizers primarily optimize for reconstruction fidelity, they often neglect the structural properties of the latent space -- a critical factor for both interpretability and downstream tasks. Our method generates a 1D causal token sequence for images, where each successive token contributes non-overlapping information with mathematically guaranteed decreasing explained variance, analogous to principal component analysis. This structural constraint ensures the tokenizer extracts the most salient visual features first, with each subsequent token adding diminishing yet complementary information. Additionally, we identified and resolved a semantic-spectrum coupling effect that causes the unwanted entanglement of high-level semantic content and low-level spectral details in the tokens by leveraging a diffusion decoder. Experiments demonstrate that our approach achieves state-of-the-art reconstruction performance and enables better interpretability to align with the human vision system. Moreover, auto-regressive models trained on our token sequences achieve performance comparable to current state-of-the-art methods while requiring fewer tokens for training and inference.