Tuna-2: Gli Embedding di Pixel Superano gli Encoder Visivi per la Comprensione e Generazione Multimodale

Tuna-2: Pixel Embeddings Beat Vision Encoders for Multimodal Understanding and Generation

April 27, 2026

Autori: Zhiheng Liu, Weiming Ren, Xiaoke Huang, Shoufa Chen, Tianhong Li, Mengzhao Chen, Yatai Ji, Sen He, Jonas Schult, Belinda Zeng, Tao Xiang, Wenhu Chen, Ping Luo, Luke Zettlemoyer, Yuren Cong

cs.AI

Abstract

I modelli multimodali unificati si basano tipicamente su encoder visivi preaddestrati e utilizzano rappresentazioni visive separate per la comprensione e la generazione, creando un disallineamento tra i due compiti e impedendo un'ottimizzazione completamente end-to-end a partire dai pixel grezzi. Introduciamo Tuna-2, un modello multimodale unificato nativo che esegue comprensione e generazione visiva direttamente basandosi sugli embedding di pixel. Tuna-2 semplifica drasticamente l'architettura del modello impiegando semplici livelli di embedding di patch per codificare l'input visivo, scartando completamente i design modulari degli encoder visivi come il VAE o l'encoder di rappresentazione. Gli esperimenti mostrano che Tuna-2 raggiunge prestazioni allo stato dell'arte nei benchmark multimodali, dimostrando che la modellazione unificata nello spazio dei pixel può competere pienamente con gli approcci nello spazio latente per la generazione di immagini di alta qualità. Inoltre, mentre la variante basata su encoder converge più velocemente nella prima fase di preaddestramento, il design privo di encoder di Tuna-2 raggiunge una comprensione multimodale più solida su larga scala, specialmente nei compiti che richiedono una percezione visiva fine. Questi risultati dimostrano che gli encoder visivi preaddestrati non sono necessari per la modellazione multimodale e che l'apprendimento end-to-end nello spazio dei pixel offre un percorso scalabile verso rappresentazioni visive più robuste sia per la generazione che per la percezione.

English

Unified multimodal models typically rely on pretrained vision encoders and use separate visual representations for understanding and generation, creating misalignment between the two tasks and preventing fully end-to-end optimization from raw pixels. We introduce Tuna-2, a native unified multimodal model that performs visual understanding and generation directly based on pixel embeddings. Tuna-2 drastically simplifies the model architecture by employing simple patch embedding layers to encode visual input, completely discarding the modular vision encoder designs such as the VAE or the representation encoder. Experiments show that Tuna-2 achieves state-of-the-art performance in multimodal benchmarks, demonstrating that unified pixel-space modelling can fully compete with latent-space approaches for high-quality image generation. Moreover, while the encoder-based variant converges faster in early pretraining, Tuna-2's encoder-free design achieves stronger multimodal understanding at scale, particularly on tasks requiring fine-grained visual perception. These results show that pretrained vision encoders are not necessary for multimodal modelling, and end-to-end pixel-space learning offers a scalable path toward stronger visual representations for both generation and perception.