Tuna-2 : Les embeddings de pixels surpassent les encodeurs visuels pour la compréhension et la génération multimodales

Résumé

Les modèles multimodaux unifiés reposent généralement sur des encodeurs visuels préentraînés et utilisent des représentations visuelles distinctes pour la compréhension et la génération, créant un désalignement entre ces deux tâches et empêchant une optimisation véritablement end-to-end à partir des pixels bruts. Nous présentons Tuna-2, un modèle multimodal unifié natif qui effectue la compréhension et la génération visuelles directement à partir des embeddings de pixels. Tuna-2 simplifie radicalement l'architecture du modèle en utilisant de simples couches d'embedding de patches pour encoder l'entrée visuelle, abandonnant complètement les conceptions modulaires d'encodeurs visuels comme le VAE ou l'encodeur de représentations. Les expériences montrent que Tuna-2 atteint des performances de pointe dans les benchmarks multimodaux, démontrant que la modélisation unifiée dans l'espace pixel peut pleinement rivaliser avec les approches en espace latent pour la génération d'images de haute qualité. De plus, si la variante avec encodeur converge plus rapidement en début de préentraînement, la conception sans encodeur de Tuna-2 permet une meilleure compréhension multimodale à grande échelle, particulièrement sur les tâches nécessitant une perception visuelle fine. Ces résultats montrent que les encodeurs visuels préentraînés ne sont pas nécessaires pour la modélisation multimodale, et que l'apprentissage end-to-end dans l'espace pixel offre une voie évolutive vers des représentations visuelles plus robustes pour la génération comme pour la perception.

English

Unified multimodal models typically rely on pretrained vision encoders and use separate visual representations for understanding and generation, creating misalignment between the two tasks and preventing fully end-to-end optimization from raw pixels. We introduce Tuna-2, a native unified multimodal model that performs visual understanding and generation directly based on pixel embeddings. Tuna-2 drastically simplifies the model architecture by employing simple patch embedding layers to encode visual input, completely discarding the modular vision encoder designs such as the VAE or the representation encoder. Experiments show that Tuna-2 achieves state-of-the-art performance in multimodal benchmarks, demonstrating that unified pixel-space modelling can fully compete with latent-space approaches for high-quality image generation. Moreover, while the encoder-based variant converges faster in early pretraining, Tuna-2's encoder-free design achieves stronger multimodal understanding at scale, particularly on tasks requiring fine-grained visual perception. These results show that pretrained vision encoders are not necessary for multimodal modelling, and end-to-end pixel-space learning offers a scalable path toward stronger visual representations for both generation and perception.