Vision als Dialekt: Vereinheitlichung von visuellem Verständnis und Generierung durch textausgerichtete Repräsentationen

Vision as a Dialect: Unifying Visual Understanding and Generation via Text-Aligned Representations

June 23, 2025

Autoren: Jiaming Han, Hao Chen, Yang Zhao, Hanyu Wang, Qi Zhao, Ziyan Yang, Hao He, Xiangyu Yue, Lu Jiang

cs.AI

Zusammenfassung

Dieses Papier stellt ein multimodales Framework vor, das versucht, visuelles Verständnis und Generierung innerhalb einer gemeinsamen diskreten semantischen Repräsentation zu vereinen. Im Kern steht der Text-Aligned Tokenizer (TA-Tok), der Bilder mithilfe eines textausgerichteten Codebuchs, das aus dem Vokabular eines großen Sprachmodells (LLM) projiziert wird, in diskrete Tokens umwandelt. Durch die Integration von Vision und Text in einen einheitlichen Raum mit einem erweiterten Vokabular ermöglicht unser multimodales LLM, Tar, cross-modale Ein- und Ausgaben über eine gemeinsame Schnittstelle, ohne dass modalspezifische Designs erforderlich sind. Zusätzlich schlagen wir eine skalierungsadaptive Kodierung und Dekodierung vor, um Effizienz und visuelle Detailtreue auszugleichen, sowie einen generativen De-Tokenizer, um hochwertige visuelle Ausgaben zu erzeugen. Um verschiedenen Dekodierungsanforderungen gerecht zu werden, nutzen wir zwei komplementäre De-Tokenizer: ein schnelles autoregressives Modell und ein diffusionsbasiertes Modell. Um die Modalfusion zu verbessern, untersuchen wir fortgeschrittene Pre-Training-Aufgaben, die Verbesserungen sowohl im visuellen Verständnis als auch in der Generierung demonstrieren. Experimente über verschiedene Benchmarks zeigen, dass Tar bestehende multimodale LLM-Methoden erreicht oder übertrifft, wobei es eine schnellere Konvergenz und eine höhere Trainingseffizienz erreicht. Code, Modelle und Daten sind unter https://tar.csuhan.com verfügbar.

English

This paper presents a multimodal framework that attempts to unify visual understanding and generation within a shared discrete semantic representation. At its core is the Text-Aligned Tokenizer (TA-Tok), which converts images into discrete tokens using a text-aligned codebook projected from a large language model's (LLM) vocabulary. By integrating vision and text into a unified space with an expanded vocabulary, our multimodal LLM, Tar, enables cross-modal input and output through a shared interface, without the need for modality-specific designs. Additionally, we propose scale-adaptive encoding and decoding to balance efficiency and visual detail, along with a generative de-tokenizer to produce high-fidelity visual outputs. To address diverse decoding needs, we utilize two complementary de-tokenizers: a fast autoregressive model and a diffusion-based model. To enhance modality fusion, we investigate advanced pre-training tasks, demonstrating improvements in both visual understanding and generation. Experiments across benchmarks show that Tar matches or surpasses existing multimodal LLM methods, achieving faster convergence and greater training efficiency. Code, models, and data are available at https://tar.csuhan.com