Los generadores de imágenes son aprendices visuales generalistas
Image Generators are Generalist Vision Learners
April 22, 2026
Autores: Valentin Gabeur, Shangbang Long, Songyou Peng, Paul Voigtlaender, Shuyang Sun, Yanan Bao, Karen Truong, Zhicheng Wang, Wenlei Zhou, Jonathan T. Barron, Kyle Genova, Nithish Kannen, Sherry Ben, Yandong Li, Mandy Guo, Suhas Yogin, Yiming Gu, Huizhong Chen, Oliver Wang, Saining Xie, Howard Zhou, Kaiming He, Thomas Funkhouser, Jean-Baptiste Alayrac, Radu Soricut
cs.AI
Resumen
Trabajos recientes demuestran que los generadores de imágenes y vídeos exhiben comportamientos de comprensión visual de tipo "zero-shot", de un modo que recuerda a cómo los LLMs desarrollan capacidades emergentes de comprensión y razonamiento del lenguaje a partir del preentrenamiento generativo. Si bien durante mucho tiempo se ha conjeturado que la capacidad de crear contenido visual implica la capacidad de comprenderlo, ha habido evidencia limitada de que los modelos generativos de visión hayan desarrollado capacidades de comprensión sólidas. En este trabajo, demostramos que el entrenamiento en generación de imágenes cumple una función similar al preentrenamiento de los LLMs, y permite a los modelos aprender representaciones visuales potentes y generales que posibilitan un rendimiento de vanguardia (SOTA) en diversas tareas de visión por computador. Presentamos Vision Banana, un modelo generalista construido mediante el ajuste por instrucciones (instruction-tuning) de Nano Banana Pro (NBP) sobre una mezcla de sus datos de entrenamiento originales junto con una pequeña cantidad de datos de tareas visuales. Al parametrizar el espacio de salida de las tareas visuales como imágenes RGB, replanteamos de forma fluida la percepción como generación de imágenes. Nuestro modelo generalista, Vision Banana, logra resultados SOTA en una variedad de tareas de visión que implican comprensión tanto 2D como 3D, superando o rivalizando con especialistas de dominio zero-shot, incluyendo al Segment Anything Model 3 en tareas de segmentación, y a la serie Depth Anything en la estimación de profundidad métrica. Mostramos que estos resultados pueden lograrse con un ajuste por instrucciones ligero (lightweight) sin sacrificar las capacidades de generación de imágenes del modelo base. Los resultados superiores sugieren que el preentrenamiento en generación de imágenes es un aprendiz generalista de la visión. También muestra que la generación de imágenes sirve como una interfaz unificada y universal para las tareas de visión, similar al papel de la generación de texto en la comprensión y el razonamiento del lenguaje. Podríamos estar presenciando un cambio de paradigma importante para la visión por computador, en el que el preentrenamiento de visión generativa asume un papel central en la construcción de Modelos de Visión Fundamentales (Foundational Vision Models) tanto para la generación como para la comprensión.
English
Recent works show that image and video generators exhibit zero-shot visual understanding behaviors, in a way reminiscent of how LLMs develop emergent capabilities of language understanding and reasoning from generative pretraining. While it has long been conjectured that the ability to create visual content implies an ability to understand it, there has been limited evidence that generative vision models have developed strong understanding capabilities. In this work, we demonstrate that image generation training serves a role similar to LLM pretraining, and lets models learn powerful and general visual representations that enable SOTA performance on various vision tasks. We introduce Vision Banana, a generalist model built by instruction-tuning Nano Banana Pro (NBP) on a mixture of its original training data alongside a small amount of vision task data. By parameterizing the output space of vision tasks as RGB images, we seamlessly reframe perception as image generation. Our generalist model, Vision Banana, achieves SOTA results on a variety of vision tasks involving both 2D and 3D understanding, beating or rivaling zero-shot domain-specialists, including Segment Anything Model 3 on segmentation tasks, and the Depth Anything series on metric depth estimation. We show that these results can be achieved with lightweight instruction-tuning without sacrificing the base model's image generation capabilities. The superior results suggest that image generation pretraining is a generalist vision learner. It also shows that image generation serves as a unified and universal interface for vision tasks, similar to text generation's role in language understanding and reasoning. We could be witnessing a major paradigm shift for computer vision, where generative vision pretraining takes a central role in building Foundational Vision Models for both generation and understanding.