Beeldgeneratoren zijn generalistische visuele leerders
Image Generators are Generalist Vision Learners
April 22, 2026
Auteurs: Valentin Gabeur, Shangbang Long, Songyou Peng, Paul Voigtlaender, Shuyang Sun, Yanan Bao, Karen Truong, Zhicheng Wang, Wenlei Zhou, Jonathan T. Barron, Kyle Genova, Nithish Kannen, Sherry Ben, Yandong Li, Mandy Guo, Suhas Yogin, Yiming Gu, Huizhong Chen, Oliver Wang, Saining Xie, Howard Zhou, Kaiming He, Thomas Funkhouser, Jean-Baptiste Alayrac, Radu Soricut
cs.AI
Samenvatting
Recente studies tonen aan dat beeld- en videogeneratoren zero-shot visueel begrip vertonen, op een manier die doet denken aan hoe grote taalmodellen (LLM's) emergent vermogen tot taalbegrip en redenering ontwikkelen via generatieve voorpretraining. Hoewel lang werd verondersteld dat het vermogen om visuele inhoud te creëren impliceert dat men het ook kan begrijpen, was er tot nu toe beperkt bewijs dat generatieve visiemodellen sterke begripscapaciteiten hebben ontwikkeld. In dit werk tonen we aan dat training voor beeldgeneratie een vergelijkbare rol vervult als LLM-voorpretraining, en modellen in staat stelt krachtige en algemene visuele representaties te leren die state-of-the-art (SOTA) prestaties mogelijk maken op diverse visietaken. Wij introduceren Vision Banana, een generalistisch model gebouwd door instruction-tuning van Nano Banana Pro (NBP) op een mix van zijn oorspronkelijke trainingsdata en een kleine hoeveelheid data van visietaken. Door de uitvoerruimte van visietaken te parametriseren als RGB-beelden, herformuleren we waarneming naadloos als beeldgeneratie. Ons generalistische model, Vision Banana, behaalt SOTA-resultaten op uiteenlopende visietaken die zowel 2D- als 3D-begrip omvatten, en verslaat of evenaart zero-shot domeinspecialisten, waaronder Segment Anything Model 3 bij segmentatietaken, en de Depth Anything-reeks bij metrische diepteschatting. Wij laten zien dat deze resultaten bereikt kunnen worden met lichtgewicht instruction-tuning zonder de beeldgeneratiecapaciteiten van het basismodel op te offeren. De superieure resultaten suggereren dat voorpretraining op beeldgeneratie een generalistische visieleerder is. Het toont ook aan dat beeldgeneratie dient als een verenigde en universele interface voor visietaken, vergelijkbaar met de rol van tekstgeneratie bij taalbegrip en redeneren. Mogelijk zijn we getuige van een grote paradigmaverschuiving in computervisie, waarbij generatieve visie-voorpretraining een centrale rol gaat spelen bij het bouwen van Foundationele Visiemodellen voor zowel generatie als begrip.
English
Recent works show that image and video generators exhibit zero-shot visual understanding behaviors, in a way reminiscent of how LLMs develop emergent capabilities of language understanding and reasoning from generative pretraining. While it has long been conjectured that the ability to create visual content implies an ability to understand it, there has been limited evidence that generative vision models have developed strong understanding capabilities. In this work, we demonstrate that image generation training serves a role similar to LLM pretraining, and lets models learn powerful and general visual representations that enable SOTA performance on various vision tasks. We introduce Vision Banana, a generalist model built by instruction-tuning Nano Banana Pro (NBP) on a mixture of its original training data alongside a small amount of vision task data. By parameterizing the output space of vision tasks as RGB images, we seamlessly reframe perception as image generation. Our generalist model, Vision Banana, achieves SOTA results on a variety of vision tasks involving both 2D and 3D understanding, beating or rivaling zero-shot domain-specialists, including Segment Anything Model 3 on segmentation tasks, and the Depth Anything series on metric depth estimation. We show that these results can be achieved with lightweight instruction-tuning without sacrificing the base model's image generation capabilities. The superior results suggest that image generation pretraining is a generalist vision learner. It also shows that image generation serves as a unified and universal interface for vision tasks, similar to text generation's role in language understanding and reasoning. We could be witnessing a major paradigm shift for computer vision, where generative vision pretraining takes a central role in building Foundational Vision Models for both generation and understanding.