Nano Banana Proは低レベル視覚のオールラウンダーか？14タスク・40データセットによる包括的評価

Is Nano Banana Pro a Low-Level Vision All-Rounder? A Comprehensive Evaluation on 14 Tasks and 40 Datasets

December 17, 2025

著者: Jialong Zuo, Haoyou Deng, Hanyu Zhou, Jiaxin Zhu, Yicheng Zhang, Yiwei Zhang, Yongxin Yan, Kaixing Huang, Weisen Chen, Yongtai Deng, Rui Jin, Nong Sang, Changxin Gao

cs.AI

要旨

テキストから画像への生成モデルの急速な進化は、視覚コンテンツ制作に革命をもたらしている。Nano Banana Proのような商業製品が大きな注目を集める一方で、従来の低レベル視覚タスクにおける汎用ソルバーとしての可能性は、ほとんど探られていないのが現状である。本研究では、「Nano Banana Proは低レベル視覚の万能選手たり得るか？」という核心的な問いに取り組む。40の多様なデータセットにわたる14の異なる低レベルタスクについて、包括的なゼロショット評価を実施した。ファインチューニングなしの単純なテキストプロンプトを用いて、Nano Banana Proを最先端の特化型モデルと比較評価した。我々の詳細な分析は、明確な性能の二面性を明らかにしている：Nano Banana Proは優れた主観的視覚品質を示し、特化型モデルを凌ぐ説得力のある高周波詳細をしばしば生成（幻覚的生成）する一方で、従来の参照ベースの定量的指標では遅れをとる。この不一致は、生成モデルに内在する確率性に起因すると考えられ、従来の指標が要求する厳密なピクセルレベルの一貫性を維持することが困難であるためと考察される。本報告は、Nano Banana Proが低レベル視覚タスクにおいて有能なゼロショットの競合相手であると位置付ける一方で、ドメイン特化型モデルの高い忠実度の達成には依然として大きな課題が残されていることを浮き彫りにする。

English

The rapid evolution of text-to-image generation models has revolutionized visual content creation. While commercial products like Nano Banana Pro have garnered significant attention, their potential as generalist solvers for traditional low-level vision challenges remains largely underexplored. In this study, we investigate the critical question: Is Nano Banana Pro a Low-Level Vision All-Rounder? We conducted a comprehensive zero-shot evaluation across 14 distinct low-level tasks spanning 40 diverse datasets. By utilizing simple textual prompts without fine-tuning, we benchmarked Nano Banana Pro against state-of-the-art specialist models. Our extensive analysis reveals a distinct performance dichotomy: while Nano Banana Pro demonstrates superior subjective visual quality, often hallucinating plausible high-frequency details that surpass specialist models, it lags behind in traditional reference-based quantitative metrics. We attribute this discrepancy to the inherent stochasticity of generative models, which struggle to maintain the strict pixel-level consistency required by conventional metrics. This report identifies Nano Banana Pro as a capable zero-shot contender for low-level vision tasks, while highlighting that achieving the high fidelity of domain specialists remains a significant hurdle.