MANZANO: Um Modelo Unificado Multimodal Simples e Escalável com um Tokenizador Visual Híbrido

MANZANO: A Simple and Scalable Unified Multimodal Model with a Hybrid Vision Tokenizer

September 19, 2025

Autores: Yanghao Li, Rui Qian, Bowen Pan, Haotian Zhang, Haoshuo Huang, Bowen Zhang, Jialing Tong, Haoxuan You, Xianzhi Du, Zhe Gan, Hyunjik Kim, Chao Jia, Zhenbang Wang, Yinfei Yang, Mingfei Gao, Zi-Yi Dou, Wenze Hu, Chang Gao, Dongxu Li, Philipp Dufter, Zirui Wang, Guoli Yin, Zhengdong Zhang, Chen Chen, Yang Zhao, Ruoming Pang, Zhifeng Chen

cs.AI

Resumo

Modelos de Linguagem de Grande Escala (LLMs) multimodais unificados que podem tanto compreender quanto gerar conteúdo visual possuem um imenso potencial. No entanto, os modelos de código aberto existentes frequentemente sofrem com uma compensação de desempenho entre essas capacidades. Apresentamos o Manzano, uma estrutura unificada simples e escalável que reduz substancialmente essa tensão ao acoplar um tokenizador de imagens híbrido com uma receita de treinamento bem elaborada. Um único codificador visual compartilhado alimenta dois adaptadores leves que produzem embeddings contínuos para a compreensão de imagem para texto e tokens discretos para a geração de texto para imagem dentro de um espaço semântico comum. Um LLM autorregressivo unificado prevê semânticas de alto nível na forma de tokens de texto e imagem, com um decodificador de difusão auxiliar traduzindo posteriormente os tokens de imagem em pixels. A arquitetura, juntamente com uma receita de treinamento unificada sobre dados de compreensão e geração, permite o aprendizado conjunto escalável de ambas as capacidades. O Manzano alcança resultados de ponta entre os modelos unificados e é competitivo com modelos especializados, particularmente em avaliações ricas em texto. Nossos estudos mostram conflitos mínimos entre tarefas e ganhos consistentes com o aumento do tamanho do modelo, validando nossa escolha de design de um tokenizador híbrido.

English

Unified multimodal Large Language Models (LLMs) that can both understand and generate visual content hold immense potential. However, existing open-source models often suffer from a performance trade-off between these capabilities. We present Manzano, a simple and scalable unified framework that substantially reduces this tension by coupling a hybrid image tokenizer with a well-curated training recipe. A single shared vision encoder feeds two lightweight adapters that produce continuous embeddings for image-to-text understanding and discrete tokens for text-to-image generation within a common semantic space. A unified autoregressive LLM predicts high-level semantics in the form of text and image tokens, with an auxiliary diffusion decoder subsequently translating the image tokens into pixels. The architecture, together with a unified training recipe over understanding and generation data, enables scalable joint learning of both capabilities. Manzano achieves state-of-the-art results among unified models, and is competitive with specialist models, particularly on text-rich evaluation. Our studies show minimal task conflicts and consistent gains from scaling model size, validating our design choice of a hybrid tokenizer.