«Главные компоненты» открывают новый язык изображений

"Principal Components" Enable A New Language of Images

March 11, 2025

Авторы: Xin Wen, Bingchen Zhao, Ismail Elezi, Jiankang Deng, Xiaojuan Qi

cs.AI

Аннотация

Мы представляем новую структуру визуальной токенизации, которая встраивает доказуемую PCA-подобную структуру в латентное пространство токенов. В то время как существующие визуальные токенизаторы в основном оптимизируются для точности реконструкции, они часто пренебрегают структурными свойствами латентного пространства — критически важным фактором как для интерпретируемости, так и для последующих задач. Наш метод генерирует одномерную причинно-следственную последовательность токенов для изображений, где каждый последующий токен вносит неперекрывающуюся информацию с математически гарантированным уменьшением объясняемой дисперсии, аналогично методу главных компонент. Это структурное ограничение гарантирует, что токенизатор сначала извлекает наиболее значимые визуальные признаки, а каждый последующий токен добавляет уменьшающуюся, но дополнительную информацию. Кроме того, мы выявили и устранили эффект семантико-спектрального связывания, который вызывает нежелательное переплетение высокоуровневого семантического содержания и низкоуровневых спектральных деталей в токенах, используя диффузионный декодер. Эксперименты показывают, что наш подход достигает наилучших показателей реконструкции и обеспечивает лучшую интерпретируемость, согласующуюся с человеческой зрительной системой. Более того, авторегрессивные модели, обученные на наших последовательностях токенов, демонстрируют производительность, сопоставимую с современными методами, при этом требуя меньше токенов для обучения и вывода.

English

We introduce a novel visual tokenization framework that embeds a provable PCA-like structure into the latent token space. While existing visual tokenizers primarily optimize for reconstruction fidelity, they often neglect the structural properties of the latent space -- a critical factor for both interpretability and downstream tasks. Our method generates a 1D causal token sequence for images, where each successive token contributes non-overlapping information with mathematically guaranteed decreasing explained variance, analogous to principal component analysis. This structural constraint ensures the tokenizer extracts the most salient visual features first, with each subsequent token adding diminishing yet complementary information. Additionally, we identified and resolved a semantic-spectrum coupling effect that causes the unwanted entanglement of high-level semantic content and low-level spectral details in the tokens by leveraging a diffusion decoder. Experiments demonstrate that our approach achieves state-of-the-art reconstruction performance and enables better interpretability to align with the human vision system. Moreover, auto-regressive models trained on our token sequences achieve performance comparable to current state-of-the-art methods while requiring fewer tokens for training and inference.