Зрение как диалект: унификация визуального понимания и генерации через текстово-согласованные представления

Vision as a Dialect: Unifying Visual Understanding and Generation via Text-Aligned Representations

June 23, 2025

Авторы: Jiaming Han, Hao Chen, Yang Zhao, Hanyu Wang, Qi Zhao, Ziyan Yang, Hao He, Xiangyu Yue, Lu Jiang

cs.AI

Аннотация

В данной статье представлена мультимодальная структура, которая стремится объединить визуальное понимание и генерацию в рамках общего дискретного семантического представления. Основой этой структуры является Text-Aligned Tokenizer (TA-Tok), преобразующий изображения в дискретные токены с использованием текстово-выровненного кодового словаря, спроецированного из словаря крупной языковой модели (LLM). Благодаря интеграции зрения и текста в единое пространство с расширенным словарным запасом, наша мультимодальная LLM, Tar, позволяет осуществлять кросс-модальный ввод и вывод через общий интерфейс без необходимости в модально-специфичных решениях. Дополнительно мы предлагаем масштабно-адаптивное кодирование и декодирование для баланса между эффективностью и визуальной детализацией, а также генеративный де-токенизатор для создания высококачественных визуальных выходов. Для удовлетворения разнообразных потребностей декодирования мы используем два взаимодополняющих де-токенизатора: быструю авторегрессионную модель и модель на основе диффузии. Для улучшения слияния модальностей мы исследуем передовые задачи предварительного обучения, демонстрируя улучшения как в визуальном понимании, так и в генерации. Эксперименты на различных тестовых наборах показывают, что Tar соответствует или превосходит существующие методы мультимодальных LLM, достигая более быстрой сходимости и большей эффективности обучения. Код, модели и данные доступны по адресу https://tar.csuhan.com.

English

This paper presents a multimodal framework that attempts to unify visual understanding and generation within a shared discrete semantic representation. At its core is the Text-Aligned Tokenizer (TA-Tok), which converts images into discrete tokens using a text-aligned codebook projected from a large language model's (LLM) vocabulary. By integrating vision and text into a unified space with an expanded vocabulary, our multimodal LLM, Tar, enables cross-modal input and output through a shared interface, without the need for modality-specific designs. Additionally, we propose scale-adaptive encoding and decoding to balance efficiency and visual detail, along with a generative de-tokenizer to produce high-fidelity visual outputs. To address diverse decoding needs, we utilize two complementary de-tokenizers: a fast autoregressive model and a diffusion-based model. To enhance modality fusion, we investigate advanced pre-training tasks, demonstrating improvements in both visual understanding and generation. Experiments across benchmarks show that Tar matches or surpasses existing multimodal LLM methods, achieving faster convergence and greater training efficiency. Code, models, and data are available at https://tar.csuhan.com