Visie als Dialect: Het Verenigen van Visueel Begrip en Generatie via Tekst-Uitgelijnde Representaties

Vision as a Dialect: Unifying Visual Understanding and Generation via Text-Aligned Representations

June 23, 2025

Auteurs: Jiaming Han, Hao Chen, Yang Zhao, Hanyu Wang, Qi Zhao, Ziyan Yang, Hao He, Xiangyu Yue, Lu Jiang

cs.AI

Samenvatting

Dit artikel presenteert een multimodaal raamwerk dat probeert visueel begrip en generatie te verenigen binnen een gedeelde discrete semantische representatie. De kern ervan is de Text-Aligned Tokenizer (TA-Tok), die afbeeldingen omzet in discrete tokens met behulp van een tekst-uitgelijnde codebook geprojecteerd vanuit de vocabulaire van een groot taalmodel (LLM). Door visie en tekst te integreren in een verenigde ruimte met een uitgebreide vocabulaire, stelt ons multimodale LLM, Tar, cross-modale input en output mogelijk via een gedeelde interface, zonder de noodzaak van modaal-specifieke ontwerpen. Daarnaast stellen we schaal-adaptieve codering en decodering voor om efficiëntie en visueel detail in balans te brengen, samen met een generatieve de-tokenizer om hoogwaardige visuele outputs te produceren. Om diverse decodeerbehoeften aan te pakken, maken we gebruik van twee complementaire de-tokenizers: een snel autoregressief model en een op diffusie gebaseerd model. Om modale fusie te verbeteren, onderzoeken we geavanceerde pre-trainingtaken, waarbij we verbeteringen aantonen in zowel visueel begrip als generatie. Experimenten over benchmarks tonen aan dat Tar gelijkwaardig of superieur is aan bestaande multimodale LLM-methoden, met snellere convergentie en grotere trainings efficiëntie. Code, modellen en data zijn beschikbaar op https://tar.csuhan.com.

English

This paper presents a multimodal framework that attempts to unify visual understanding and generation within a shared discrete semantic representation. At its core is the Text-Aligned Tokenizer (TA-Tok), which converts images into discrete tokens using a text-aligned codebook projected from a large language model's (LLM) vocabulary. By integrating vision and text into a unified space with an expanded vocabulary, our multimodal LLM, Tar, enables cross-modal input and output through a shared interface, without the need for modality-specific designs. Additionally, we propose scale-adaptive encoding and decoding to balance efficiency and visual detail, along with a generative de-tokenizer to produce high-fidelity visual outputs. To address diverse decoding needs, we utilize two complementary de-tokenizers: a fast autoregressive model and a diffusion-based model. To enhance modality fusion, we investigate advanced pre-training tasks, demonstrating improvements in both visual understanding and generation. Experiments across benchmarks show that Tar matches or surpasses existing multimodal LLM methods, achieving faster convergence and greater training efficiency. Code, models, and data are available at https://tar.csuhan.com