La vision comme dialecte : Unification de la compréhension et de la génération visuelles via des représentations alignées sur le texte

Vision as a Dialect: Unifying Visual Understanding and Generation via Text-Aligned Representations

June 23, 2025

Auteurs: Jiaming Han, Hao Chen, Yang Zhao, Hanyu Wang, Qi Zhao, Ziyan Yang, Hao He, Xiangyu Yue, Lu Jiang

cs.AI

Résumé

Cet article présente un cadre multimodal qui tente d'unifier la compréhension et la génération visuelles au sein d'une représentation sémantique discrète partagée. Au cœur de ce système se trouve le Tokenizer Aligné sur le Texte (TA-Tok), qui convertit les images en tokens discrets en utilisant un codebook aligné sur le texte, projeté à partir du vocabulaire d'un grand modèle de langage (LLM). En intégrant la vision et le texte dans un espace unifié avec un vocabulaire étendu, notre LLM multimodal, Tar, permet des entrées et sorties intermodales via une interface partagée, sans nécessiter de conceptions spécifiques à chaque modalité. De plus, nous proposons un encodage et un décodage adaptatifs à l'échelle pour équilibrer efficacité et détails visuels, ainsi qu'un dé-tokenizer génératif pour produire des sorties visuelles de haute fidélité. Pour répondre à divers besoins de décodage, nous utilisons deux dé-tokenizers complémentaires : un modèle autorégressif rapide et un modèle basé sur la diffusion. Pour améliorer la fusion des modalités, nous explorons des tâches de pré-entraînement avancées, démontrant des améliorations à la fois dans la compréhension et la génération visuelles. Les expériences menées sur divers benchmarks montrent que Tar égale ou dépasse les méthodes existantes de LLM multimodaux, atteignant une convergence plus rapide et une efficacité d'entraînement accrue. Le code, les modèles et les données sont disponibles à l'adresse https://tar.csuhan.com.

English

This paper presents a multimodal framework that attempts to unify visual understanding and generation within a shared discrete semantic representation. At its core is the Text-Aligned Tokenizer (TA-Tok), which converts images into discrete tokens using a text-aligned codebook projected from a large language model's (LLM) vocabulary. By integrating vision and text into a unified space with an expanded vocabulary, our multimodal LLM, Tar, enables cross-modal input and output through a shared interface, without the need for modality-specific designs. Additionally, we propose scale-adaptive encoding and decoding to balance efficiency and visual detail, along with a generative de-tokenizer to produce high-fidelity visual outputs. To address diverse decoding needs, we utilize two complementary de-tokenizers: a fast autoregressive model and a diffusion-based model. To enhance modality fusion, we investigate advanced pre-training tasks, demonstrating improvements in both visual understanding and generation. Experiments across benchmarks show that Tar matches or surpasses existing multimodal LLM methods, achieving faster convergence and greater training efficiency. Code, models, and data are available at https://tar.csuhan.com