"Les Composantes Principales" ouvrent la voie à un nouveau langage des images

"Principal Components" Enable A New Language of Images

March 11, 2025

Auteurs: Xin Wen, Bingchen Zhao, Ismail Elezi, Jiankang Deng, Xiaojuan Qi

cs.AI

Résumé

Nous présentons un nouveau cadre de tokenisation visuelle qui intègre une structure de type PCA prouvable dans l'espace latent des tokens. Alors que les tokeniseurs visuels existants optimisent principalement pour la fidélité de reconstruction, ils négligent souvent les propriétés structurelles de l'espace latent -- un facteur critique tant pour l'interprétabilité que pour les tâches en aval. Notre méthode génère une séquence causale 1D de tokens pour les images, où chaque token successif apporte une information non redondante avec une variance expliquée mathématiquement garantie décroissante, analogue à l'analyse en composantes principales. Cette contrainte structurelle garantit que le tokeniseur extrait d'abord les caractéristiques visuelles les plus saillantes, chaque token suivant ajoutant une information complémentaire mais décroissante. De plus, nous avons identifié et résolu un effet de couplage sémantique-spectral qui entraîne un enchevêtrement indésirable entre le contenu sémantique de haut niveau et les détails spectraux de bas niveau dans les tokens, en exploitant un décodeur à diffusion. Les expériences démontrent que notre approche atteint des performances de reconstruction à la pointe de l'état de l'art et permet une meilleure interprétabilité alignée avec le système visuel humain. Par ailleurs, les modèles auto-régressifs entraînés sur nos séquences de tokens atteignent des performances comparables aux méthodes actuelles les plus avancées tout en nécessitant moins de tokens pour l'entraînement et l'inférence.

English

We introduce a novel visual tokenization framework that embeds a provable PCA-like structure into the latent token space. While existing visual tokenizers primarily optimize for reconstruction fidelity, they often neglect the structural properties of the latent space -- a critical factor for both interpretability and downstream tasks. Our method generates a 1D causal token sequence for images, where each successive token contributes non-overlapping information with mathematically guaranteed decreasing explained variance, analogous to principal component analysis. This structural constraint ensures the tokenizer extracts the most salient visual features first, with each subsequent token adding diminishing yet complementary information. Additionally, we identified and resolved a semantic-spectrum coupling effect that causes the unwanted entanglement of high-level semantic content and low-level spectral details in the tokens by leveraging a diffusion decoder. Experiments demonstrate that our approach achieves state-of-the-art reconstruction performance and enables better interpretability to align with the human vision system. Moreover, auto-regressive models trained on our token sequences achieve performance comparable to current state-of-the-art methods while requiring fewer tokens for training and inference.