Генераторы изображений — это универсальные модели для обучения компьютерного зрения.

Image Generators are Generalist Vision Learners

April 22, 2026

Авторы: Valentin Gabeur, Shangbang Long, Songyou Peng, Paul Voigtlaender, Shuyang Sun, Yanan Bao, Karen Truong, Zhicheng Wang, Wenlei Zhou, Jonathan T. Barron, Kyle Genova, Nithish Kannen, Sherry Ben, Yandong Li, Mandy Guo, Suhas Yogin, Yiming Gu, Huizhong Chen, Oliver Wang, Saining Xie, Howard Zhou, Kaiming He, Thomas Funkhouser, Jean-Baptiste Alayrac, Radu Soricut

cs.AI

Аннотация

Последние исследования показывают, что генераторы изображений и видео демонстрируют свойства нулевого визуального распознавания, что напоминает то, как большие языковые модели развивают эмерджентные способности понимания и логических рассуждений в ходе генеративного предобучения. Хотя давно предполагалось, что способность создавать визуальный контент подразумевает умение его понимать, до сих пор существовало мало доказательств того, что генеративные модели зрения развили мощные способности к распознаванию. В данной работе мы демонстрируем, что обучение генерации изображений играет роль, аналогичную предобучению языковых моделей, и позволяет моделям усваивать мощные и универсальные визуальные представления, обеспечивающие состояние искусства в различных задачах компьютерного зрения. Мы представляем Vision Banana — модель-универсал, созданную путем инструктивного обучения Nano Banana Pro (NBP) на смеси исходных данных обучения с небольшим объемом данных визуальных задач. Параметризуя пространство выходов задач зрения в виде RGB-изображений, мы бесшовно переформулируем восприятие как генерацию изображений. Наша модель-универсал Vision Banana достигает состояния искусства в разнообразных задачах зрения, включая как 2D, так и 3D-распознавание, превосходя или конкурируя с нулевыми узкоспециализированными моделями, включая Segment Anything Model 3 в задачах сегментации и серию Depth Anything в метрическом оценивании глубины. Мы показываем, что этих результатов можно достичь с помощью легковесного инструктивного обучения без ущерба для способностей базовой модели к генерации изображений. Превосходные результаты свидетельствуют, что предобучение генерации изображений является универсальным методом обучения компьютерному зрению. Это также демонстрирует, что генерация изображений служит единым и универсальным интерфейсом для задач зрения, подобно роли генерации текста в понимании и логических рассуждениях. Возможно, мы становимся свидетелями крупного парадигмального сдвига в компьютерном зрении, где генеративное визуальное предобучение занимает центральное место в создании Фундаментальных Моделей Зрения для генерации и распознавания.

English

Recent works show that image and video generators exhibit zero-shot visual understanding behaviors, in a way reminiscent of how LLMs develop emergent capabilities of language understanding and reasoning from generative pretraining. While it has long been conjectured that the ability to create visual content implies an ability to understand it, there has been limited evidence that generative vision models have developed strong understanding capabilities. In this work, we demonstrate that image generation training serves a role similar to LLM pretraining, and lets models learn powerful and general visual representations that enable SOTA performance on various vision tasks. We introduce Vision Banana, a generalist model built by instruction-tuning Nano Banana Pro (NBP) on a mixture of its original training data alongside a small amount of vision task data. By parameterizing the output space of vision tasks as RGB images, we seamlessly reframe perception as image generation. Our generalist model, Vision Banana, achieves SOTA results on a variety of vision tasks involving both 2D and 3D understanding, beating or rivaling zero-shot domain-specialists, including Segment Anything Model 3 on segmentation tasks, and the Depth Anything series on metric depth estimation. We show that these results can be achieved with lightweight instruction-tuning without sacrificing the base model's image generation capabilities. The superior results suggest that image generation pretraining is a generalist vision learner. It also shows that image generation serves as a unified and universal interface for vision tasks, similar to text generation's role in language understanding and reasoning. We could be witnessing a major paradigm shift for computer vision, where generative vision pretraining takes a central role in building Foundational Vision Models for both generation and understanding.