Tuna-2: Pixel-embeddingen verslaan visuele encoders voor multimodaal begrip en generatie

Tuna-2: Pixel Embeddings Beat Vision Encoders for Multimodal Understanding and Generation

April 27, 2026

Auteurs: Zhiheng Liu, Weiming Ren, Xiaoke Huang, Shoufa Chen, Tianhong Li, Mengzhao Chen, Yatai Ji, Sen He, Jonas Schult, Belinda Zeng, Tao Xiang, Wenhu Chen, Ping Luo, Luke Zettlemoyer, Yuren Cong

cs.AI

Samenvatting

Unified multimodale modellen maken doorgaans gebruik van vooraf getrainde visuele encoders en hanteren afzonderlijke visuele representaties voor begrip en generatie, wat een mismatch creëert tussen beide taken en end-to-end-optimalisatie vanaf ruwe pixels verhindert. Wij introduceren Tuna-2, een native unified multimodaal model dat visueel begrip en generatie direct uitvoert op basis van pixel-embeddings. Tuna-2 vereenvoudigt de modelarchitectuur aanzienlijk door eenvoudige patch-embeddinglagen te gebruiken voor visuele invoercodering, waarbij modulaire visuele encoder-ontwerpen zoals VAE of representatie-encoders volledig worden losgelaten. Experimenten tonen aan dat Tuna-2 state-of-the-art prestaties behaalt in multimodale benchmarks, wat aantoont dat unified modellering in de pixelruimte volledig kan concurreren met latentruimte-benaderingen voor hoogwaardige beeldgeneratie. Bovendien bereikt het encoder-vrije ontwerp van Tuna-2, hoewel de encoder-variant sneller convergeert in de vroege trainingsfase, op grotere schaal een sterker multimodaal begrip, met name bij taken die fijnmazige visuele waarneming vereisen. Deze resultaten tonen aan dat vooraf getrainde visuele encoders niet noodzakelijk zijn voor multimodale modellering, en dat end-to-end leren in de pixelruimte een schaalbare weg biedt naar sterkere visuele representaties voor zowel generatie als perceptie.

English

Unified multimodal models typically rely on pretrained vision encoders and use separate visual representations for understanding and generation, creating misalignment between the two tasks and preventing fully end-to-end optimization from raw pixels. We introduce Tuna-2, a native unified multimodal model that performs visual understanding and generation directly based on pixel embeddings. Tuna-2 drastically simplifies the model architecture by employing simple patch embedding layers to encode visual input, completely discarding the modular vision encoder designs such as the VAE or the representation encoder. Experiments show that Tuna-2 achieves state-of-the-art performance in multimodal benchmarks, demonstrating that unified pixel-space modelling can fully compete with latent-space approaches for high-quality image generation. Moreover, while the encoder-based variant converges faster in early pretraining, Tuna-2's encoder-free design achieves stronger multimodal understanding at scale, particularly on tasks requiring fine-grained visual perception. These results show that pretrained vision encoders are not necessary for multimodal modelling, and end-to-end pixel-space learning offers a scalable path toward stronger visual representations for both generation and perception.