MANZANO: Простая и масштабируемая унифицированная мультимодальная модель с гибридным токенизатором для визуальных данных

MANZANO: A Simple and Scalable Unified Multimodal Model with a Hybrid Vision Tokenizer

September 19, 2025

Авторы: Yanghao Li, Rui Qian, Bowen Pan, Haotian Zhang, Haoshuo Huang, Bowen Zhang, Jialing Tong, Haoxuan You, Xianzhi Du, Zhe Gan, Hyunjik Kim, Chao Jia, Zhenbang Wang, Yinfei Yang, Mingfei Gao, Zi-Yi Dou, Wenze Hu, Chang Gao, Dongxu Li, Philipp Dufter, Zirui Wang, Guoli Yin, Zhengdong Zhang, Chen Chen, Yang Zhao, Ruoming Pang, Zhifeng Chen

cs.AI

Аннотация

Унифицированные мультимодальные большие языковые модели (LLM), способные как понимать, так и генерировать визуальный контент, обладают огромным потенциалом. Однако существующие модели с открытым исходным кодом часто сталкиваются с компромиссом в производительности между этими возможностями. Мы представляем Manzano — простую и масштабируемую унифицированную архитектуру, которая существенно снижает это напряжение за счет сочетания гибридного токенизатора изображений и тщательно подобранного рецепта обучения. Единый общий визуальный кодировщик передает данные двум легковесным адаптерам, которые создают непрерывные эмбеддинги для понимания изображений в текст и дискретные токены для генерации текста в изображение в рамках общего семантического пространства. Унифицированная авторегрессивная LLM предсказывает высокоуровневую семантику в виде текстовых и визуальных токенов, а вспомогательный диффузионный декодер затем преобразует визуальные токены в пиксели. Архитектура, вместе с унифицированным рецептом обучения на данных для понимания и генерации, позволяет масштабируемое совместное обучение обеим возможностям. Manzano достигает передовых результатов среди унифицированных моделей и конкурирует со специализированными моделями, особенно на тестах, богатых текстом. Наши исследования показывают минимальные конфликты задач и стабильные улучшения при увеличении размера модели, подтверждая наш выбор гибридного токенизатора.

English

Unified multimodal Large Language Models (LLMs) that can both understand and generate visual content hold immense potential. However, existing open-source models often suffer from a performance trade-off between these capabilities. We present Manzano, a simple and scalable unified framework that substantially reduces this tension by coupling a hybrid image tokenizer with a well-curated training recipe. A single shared vision encoder feeds two lightweight adapters that produce continuous embeddings for image-to-text understanding and discrete tokens for text-to-image generation within a common semantic space. A unified autoregressive LLM predicts high-level semantics in the form of text and image tokens, with an auxiliary diffusion decoder subsequently translating the image tokens into pixels. The architecture, together with a unified training recipe over understanding and generation data, enables scalable joint learning of both capabilities. Manzano achieves state-of-the-art results among unified models, and is competitive with specialist models, particularly on text-rich evaluation. Our studies show minimal task conflicts and consistent gains from scaling model size, validating our design choice of a hybrid tokenizer.