MANZANO : Un modèle multimodal unifié simple et évolutif avec un tokeniseur visuel hybride

MANZANO: A Simple and Scalable Unified Multimodal Model with a Hybrid Vision Tokenizer

September 19, 2025

papers.authors: Yanghao Li, Rui Qian, Bowen Pan, Haotian Zhang, Haoshuo Huang, Bowen Zhang, Jialing Tong, Haoxuan You, Xianzhi Du, Zhe Gan, Hyunjik Kim, Chao Jia, Zhenbang Wang, Yinfei Yang, Mingfei Gao, Zi-Yi Dou, Wenze Hu, Chang Gao, Dongxu Li, Philipp Dufter, Zirui Wang, Guoli Yin, Zhengdong Zhang, Chen Chen, Yang Zhao, Ruoming Pang, Zhifeng Chen

cs.AI

papers.abstract

Les modèles de langage de grande taille (LLM) multimodaux unifiés capables à la fois de comprendre et de générer du contenu visuel présentent un potentiel immense. Cependant, les modèles open-source existants souffrent souvent d'un compromis de performance entre ces capacités. Nous présentons Manzano, un cadre unifié simple et évolutif qui réduit considérablement cette tension en associant un tokenizer d'images hybride à une méthode d'entraînement soigneusement conçue. Un encodeur visuel unique alimente deux adaptateurs légers qui produisent des embeddings continus pour la compréhension image-texte et des tokens discrets pour la génération texte-image au sein d'un espace sémantique commun. Un LLM autorégressif unifié prédit des sémantiques de haut niveau sous forme de tokens textuels et visuels, avec un décodeur de diffusion auxiliaire traduisant ensuite les tokens visuels en pixels. L'architecture, associée à une méthode d'entraînement unifiée sur des données de compréhension et de génération, permet un apprentissage conjoint évolutif des deux capacités. Manzano obtient des résultats de pointe parmi les modèles unifiés et rivalise avec les modèles spécialisés, en particulier sur les évaluations riches en texte. Nos études montrent des conflits de tâches minimes et des gains constants liés à l'augmentation de la taille du modèle, validant notre choix de conception d'un tokenizer hybride.

English

Unified multimodal Large Language Models (LLMs) that can both understand and generate visual content hold immense potential. However, existing open-source models often suffer from a performance trade-off between these capabilities. We present Manzano, a simple and scalable unified framework that substantially reduces this tension by coupling a hybrid image tokenizer with a well-curated training recipe. A single shared vision encoder feeds two lightweight adapters that produce continuous embeddings for image-to-text understanding and discrete tokens for text-to-image generation within a common semantic space. A unified autoregressive LLM predicts high-level semantics in the form of text and image tokens, with an auxiliary diffusion decoder subsequently translating the image tokens into pixels. The architecture, together with a unified training recipe over understanding and generation data, enables scalable joint learning of both capabilities. Manzano achieves state-of-the-art results among unified models, and is competitive with specialist models, particularly on text-rich evaluation. Our studies show minimal task conflicts and consistent gains from scaling model size, validating our design choice of a hybrid tokenizer.