Visão como um Dialeto: Unificando Compreensão e Geração Visual por meio de Representações Alinhadas a Texto

Vision as a Dialect: Unifying Visual Understanding and Generation via Text-Aligned Representations

June 23, 2025

Autores: Jiaming Han, Hao Chen, Yang Zhao, Hanyu Wang, Qi Zhao, Ziyan Yang, Hao He, Xiangyu Yue, Lu Jiang

cs.AI

Resumo

Este artigo apresenta um framework multimodal que busca unificar a compreensão e geração visual dentro de uma representação semântica discreta compartilhada. Em seu núcleo está o Tokenizer Alinhado a Texto (TA-Tok), que converte imagens em tokens discretos usando um codebook alinhado a texto, projetado a partir do vocabulário de um grande modelo de linguagem (LLM). Ao integrar visão e texto em um espaço unificado com um vocabulário expandido, nosso LLM multimodal, Tar, permite entrada e saída cross-modal por meio de uma interface compartilhada, sem a necessidade de designs específicos para cada modalidade. Além disso, propomos codificação e decodificação adaptativas à escala para equilibrar eficiência e detalhes visuais, juntamente com um de-tokenizer generativo para produzir saídas visuais de alta fidelidade. Para atender a diversas necessidades de decodificação, utilizamos dois de-tokenizers complementares: um modelo autoregressivo rápido e um modelo baseado em difusão. Para melhorar a fusão de modalidades, investigamos tarefas avançadas de pré-treinamento, demonstrando melhorias tanto na compreensão quanto na geração visual. Experimentos em benchmarks mostram que o Tar iguala ou supera os métodos existentes de LLM multimodal, alcançando convergência mais rápida e maior eficiência de treinamento. Código, modelos e dados estão disponíveis em https://tar.csuhan.com.

English

This paper presents a multimodal framework that attempts to unify visual understanding and generation within a shared discrete semantic representation. At its core is the Text-Aligned Tokenizer (TA-Tok), which converts images into discrete tokens using a text-aligned codebook projected from a large language model's (LLM) vocabulary. By integrating vision and text into a unified space with an expanded vocabulary, our multimodal LLM, Tar, enables cross-modal input and output through a shared interface, without the need for modality-specific designs. Additionally, we propose scale-adaptive encoding and decoding to balance efficiency and visual detail, along with a generative de-tokenizer to produce high-fidelity visual outputs. To address diverse decoding needs, we utilize two complementary de-tokenizers: a fast autoregressive model and a diffusion-based model. To enhance modality fusion, we investigate advanced pre-training tasks, demonstrating improvements in both visual understanding and generation. Experiments across benchmarks show that Tar matches or surpasses existing multimodal LLM methods, achieving faster convergence and greater training efficiency. Code, models, and data are available at https://tar.csuhan.com