Les générateurs d'images sont des apprenants visuels généralistes
Image Generators are Generalist Vision Learners
April 22, 2026
Auteurs: Valentin Gabeur, Shangbang Long, Songyou Peng, Paul Voigtlaender, Shuyang Sun, Yanan Bao, Karen Truong, Zhicheng Wang, Wenlei Zhou, Jonathan T. Barron, Kyle Genova, Nithish Kannen, Sherry Ben, Yandong Li, Mandy Guo, Suhas Yogin, Yiming Gu, Huizhong Chen, Oliver Wang, Saining Xie, Howard Zhou, Kaiming He, Thomas Funkhouser, Jean-Baptiste Alayrac, Radu Soricut
cs.AI
Résumé
Des travaux récents montrent que les générateurs d'images et de vidéos présentent des capacités de compréhension visuelle zero-shot, d'une manière qui rappelle la façon dont les LLM développent des capacités émergentes de compréhension et de raisonnement linguistiques à partir d'un pré-entraînement génératif. Bien qu'il ait longtemps été conjecturé que la capacité à créer du contenu visuel implique la capacité à le comprendre, il existait peu de preuves que les modèles génératifs visuels aient développé de solides capacités de compréhension. Dans ce travail, nous démontrons que l'entraînement à la génération d'images joue un rôle similaire au pré-entraînement des LLM, et permet aux modèles d'apprendre des représentations visuelles puissantes et générales qui permettent des performances à l'état de l'art sur diverses tâches de vision. Nous présentons Vision Banana, un modèle généraliste construit par réglage par instruction (instruction-tuning) de Nano Banana Pro (NBP) sur un mélange de ses données d'entraînement originales et d'une petite quantité de données de tâches visuelles. En paramétrant l'espace de sortie des tâches visuelles comme des images RVB, nous reformulons de manière transparente la perception en tant que génération d'images. Notre modèle généraliste, Vision Banana, obtient des résultats à l'état de l'art sur une variété de tâches visuelles impliquant à la fois la compréhension 2D et 3D, surpassant ou rivalisant avec des modèles spécialisés zero-shot, y compris Segment Anything Model 3 sur les tâches de segmentation, et la série Depth Anything sur l'estimation de la profondeur métrique. Nous montrons que ces résultats peuvent être atteints avec un réglage par instruction léger sans sacrifier les capacités de génération d'images du modèle de base. Ces résultats supérieurs suggèrent que le pré-entraînement à la génération d'images est un apprenant visuel généraliste. Cela montre également que la génération d'images sert d'interface unifiée et universelle pour les tâches visuelles, similaire au rôle de la génération de texte dans la compréhension et le raisonnement linguistiques. Nous pourrions assister à un changement de paradigme majeur pour la vision par ordinateur, où le pré-entraînement génératif visuel prend une place centrale dans la construction de modèles de vision fondamentaux (Foundational Vision Models) à la fois pour la génération et la compréhension.
English
Recent works show that image and video generators exhibit zero-shot visual understanding behaviors, in a way reminiscent of how LLMs develop emergent capabilities of language understanding and reasoning from generative pretraining. While it has long been conjectured that the ability to create visual content implies an ability to understand it, there has been limited evidence that generative vision models have developed strong understanding capabilities. In this work, we demonstrate that image generation training serves a role similar to LLM pretraining, and lets models learn powerful and general visual representations that enable SOTA performance on various vision tasks. We introduce Vision Banana, a generalist model built by instruction-tuning Nano Banana Pro (NBP) on a mixture of its original training data alongside a small amount of vision task data. By parameterizing the output space of vision tasks as RGB images, we seamlessly reframe perception as image generation. Our generalist model, Vision Banana, achieves SOTA results on a variety of vision tasks involving both 2D and 3D understanding, beating or rivaling zero-shot domain-specialists, including Segment Anything Model 3 on segmentation tasks, and the Depth Anything series on metric depth estimation. We show that these results can be achieved with lightweight instruction-tuning without sacrificing the base model's image generation capabilities. The superior results suggest that image generation pretraining is a generalist vision learner. It also shows that image generation serves as a unified and universal interface for vision tasks, similar to text generation's role in language understanding and reasoning. We could be witnessing a major paradigm shift for computer vision, where generative vision pretraining takes a central role in building Foundational Vision Models for both generation and understanding.