画像生成モデルは汎用的な視覚学習器である

要旨

近年の研究により、画像・動画生成モデルがゼロショットの視覚理解能力を示すことが明らかになっており、これは大規模言語モデル（LLM）が生成的事前学習を通じて言語理解と推論の創発能力を獲得する過程を想起させます。視覚コンテンツを生成する能力がその理解能力を暗示するという仮説は以前から存在していましたが、生成的視覚モデルが強力な理解能力を発達させたことを示す証拠は限られていました。本研究では、画像生成トレーニングがLLMの事前学習と同様の役割を果たし、様々な視覚タスクでSOTA性能を実現する強力で汎用的な視覚表現の学習を可能にすることを実証します。我々は、Nano Banana Pro（NBP）を元の学習データと少量の視覚タスクデータの混合で指示チューニングして構築した汎用モデル「Vision Banana」を提案します。視覚タスクの出力空間をRGB画像としてパラメータ化することで、知覚タスクを画像生成としてシームレスに再定義します。我々の汎用モデルVision Bananaは、2Dおよび3D理解を含む様々な視覚タスクにおいて、セグメンテーションタスクではSegment Anything Model 3を、計測的深度推定ではDepth Anythingシリーズを凌駕または匹敵するSOTA結果を達成します。これらの結果が、ベースモデルの画像生成能力を損なうことない軽量な指示チューニングで達成可能であることを示します。優れた結果は、画像生成の事前学習が汎用的な視覚学習器であることを示唆しています。また、画像生成がテキスト生成が言語理解と推論で果たす役割と同様に、視覚タスクの統一かつ普遍的なインターフェースとして機能することを示しています。我々は現在、生成的視覚事前学習が生成と理解の両方のための基盤的視覚モデル構築において中心的な役割を担う、コンピュータビジョンの大きなパラダイムシフトを目撃している可能性があります。

English

Recent works show that image and video generators exhibit zero-shot visual understanding behaviors, in a way reminiscent of how LLMs develop emergent capabilities of language understanding and reasoning from generative pretraining. While it has long been conjectured that the ability to create visual content implies an ability to understand it, there has been limited evidence that generative vision models have developed strong understanding capabilities. In this work, we demonstrate that image generation training serves a role similar to LLM pretraining, and lets models learn powerful and general visual representations that enable SOTA performance on various vision tasks. We introduce Vision Banana, a generalist model built by instruction-tuning Nano Banana Pro (NBP) on a mixture of its original training data alongside a small amount of vision task data. By parameterizing the output space of vision tasks as RGB images, we seamlessly reframe perception as image generation. Our generalist model, Vision Banana, achieves SOTA results on a variety of vision tasks involving both 2D and 3D understanding, beating or rivaling zero-shot domain-specialists, including Segment Anything Model 3 on segmentation tasks, and the Depth Anything series on metric depth estimation. We show that these results can be achieved with lightweight instruction-tuning without sacrificing the base model's image generation capabilities. The superior results suggest that image generation pretraining is a generalist vision learner. It also shows that image generation serves as a unified and universal interface for vision tasks, similar to text generation's role in language understanding and reasoning. We could be witnessing a major paradigm shift for computer vision, where generative vision pretraining takes a central role in building Foundational Vision Models for both generation and understanding.

画像生成モデルは汎用的な視覚学習器である

Image Generators are Generalist Vision Learners

要旨

Support