Tuna-2: Incorporação de Pixels Supera Codificadores Visuais para Compreensão e Geração Multimodal

Tuna-2: Pixel Embeddings Beat Vision Encoders for Multimodal Understanding and Generation

April 27, 2026

Autores: Zhiheng Liu, Weiming Ren, Xiaoke Huang, Shoufa Chen, Tianhong Li, Mengzhao Chen, Yatai Ji, Sen He, Jonas Schult, Belinda Zeng, Tao Xiang, Wenhu Chen, Ping Luo, Luke Zettlemoyer, Yuren Cong

cs.AI

Resumo

Os modelos multimodais unificados geralmente dependem de codificadores de visão pré-treinados e utilizam representações visuais separadas para compreensão e geração, criando um desalinhamento entre as duas tarefas e impedindo uma otimização totalmente de ponta a ponta a partir de pixels brutos. Apresentamos o Tuna-2, um modelo multimodal unificado nativo que realiza compreensão e geração visual diretamente com base em embeddings de pixels. O Tuna-2 simplifica drasticamente a arquitetura do modelo ao empregar camadas simples de embedding de patches para codificar a entrada visual, descartando completamente os designs modulares de codificadores de visão, como o VAE ou o codificador de representações. Experimentos mostram que o Tuna-2 alcança desempenho de ponta em benchmarks multimodais, demonstrando que a modelagem unificada no espaço de pixels pode competir plenamente com abordagens no espaço latente para geração de imagens de alta qualidade. Além disso, embora a variante baseada em codificador convirja mais rapidamente no pré-treinamento inicial, o design livre de codificador do Tuna-2 alcança uma compreensão multimodal mais robusta em escala, particularmente em tarefas que exigem percepção visual refinada. Estes resultados mostram que codificadores de visão pré-treinados não são necessários para modelagem multimodal, e a aprendizagem de ponta a ponta no espaço de pixels oferece um caminho escalável para representações visuais mais robustas tanto para geração quanto para percepção.

English

Unified multimodal models typically rely on pretrained vision encoders and use separate visual representations for understanding and generation, creating misalignment between the two tasks and preventing fully end-to-end optimization from raw pixels. We introduce Tuna-2, a native unified multimodal model that performs visual understanding and generation directly based on pixel embeddings. Tuna-2 drastically simplifies the model architecture by employing simple patch embedding layers to encode visual input, completely discarding the modular vision encoder designs such as the VAE or the representation encoder. Experiments show that Tuna-2 achieves state-of-the-art performance in multimodal benchmarks, demonstrating that unified pixel-space modelling can fully compete with latent-space approaches for high-quality image generation. Moreover, while the encoder-based variant converges faster in early pretraining, Tuna-2's encoder-free design achieves stronger multimodal understanding at scale, particularly on tasks requiring fine-grained visual perception. These results show that pretrained vision encoders are not necessary for multimodal modelling, and end-to-end pixel-space learning offers a scalable path toward stronger visual representations for both generation and perception.