La visione come dialetto: Unificare la comprensione e la generazione visiva attraverso rappresentazioni allineate al testo

Vision as a Dialect: Unifying Visual Understanding and Generation via Text-Aligned Representations

June 23, 2025

Autori: Jiaming Han, Hao Chen, Yang Zhao, Hanyu Wang, Qi Zhao, Ziyan Yang, Hao He, Xiangyu Yue, Lu Jiang

cs.AI

Abstract

Questo articolo presenta un framework multimodale che mira a unificare la comprensione e la generazione visiva all'interno di una rappresentazione semantica discreta condivisa. Al suo centro si trova il Text-Aligned Tokenizer (TA-Tok), che converte le immagini in token discreti utilizzando un codebook allineato al testo proiettato dal vocabolario di un modello linguistico di grandi dimensioni (LLM). Integrando visione e testo in uno spazio unificato con un vocabolario ampliato, il nostro LLM multimodale, Tar, consente input e output cross-modali attraverso un'interfaccia condivisa, senza la necessità di design specifici per ogni modalità. Inoltre, proponiamo una codifica e decodifica adattiva alla scala per bilanciare efficienza e dettaglio visivo, insieme a un de-tokenizer generativo per produrre output visivi ad alta fedeltà. Per soddisfare diverse esigenze di decodifica, utilizziamo due de-tokenizer complementari: un modello autoregressivo veloce e un modello basato su diffusione. Per migliorare la fusione delle modalità, investigiamo compiti di pre-training avanzati, dimostrando miglioramenti sia nella comprensione che nella generazione visiva. Gli esperimenti condotti su benchmark mostrano che Tar eguaglia o supera i metodi esistenti di LLM multimodali, raggiungendo una convergenza più rapida e una maggiore efficienza di addestramento. Codice, modelli e dati sono disponibili su https://tar.csuhan.com.

English

This paper presents a multimodal framework that attempts to unify visual understanding and generation within a shared discrete semantic representation. At its core is the Text-Aligned Tokenizer (TA-Tok), which converts images into discrete tokens using a text-aligned codebook projected from a large language model's (LLM) vocabulary. By integrating vision and text into a unified space with an expanded vocabulary, our multimodal LLM, Tar, enables cross-modal input and output through a shared interface, without the need for modality-specific designs. Additionally, we propose scale-adaptive encoding and decoding to balance efficiency and visual detail, along with a generative de-tokenizer to produce high-fidelity visual outputs. To address diverse decoding needs, we utilize two complementary de-tokenizers: a fast autoregressive model and a diffusion-based model. To enhance modality fusion, we investigate advanced pre-training tasks, demonstrating improvements in both visual understanding and generation. Experiments across benchmarks show that Tar matches or surpasses existing multimodal LLM methods, achieving faster convergence and greater training efficiency. Code, models, and data are available at https://tar.csuhan.com