TopoPerception: 大規模視覚言語モデルにおけるグローバル視覚知覚のショートカット依存性排除評価

TopoPerception: A Shortcut-Free Evaluation of Global Visual Perception in Large Vision-Language Models

November 14, 2025

著者: Wenhao Zhou, Hao Zheng, Rong Zhao

cs.AI

要旨

大規模視覚言語モデル（LVLM）は通常、エンコーダから得られた視覚特徴を事前学習済み大規模言語モデル（LLM）と整合させる。しかし、この手法により視覚知覚モジュールがボトルネックとなり、LVLMの総合的な能力が制約されている。従来の評価ベンチマークは視覚的意味論が豊富だが、避けがたい局所的ショートカットを含んでおり、モデルの知覚能力を過大評価する傾向がある。本論文では、位相的性質を活用し、様々な粒度でLVLMの大域的視覚知覚能力を厳密に評価するベンチマーク「TopoPerception」を提案する。位相は画像の大域的構造に依存し局所特徴に不変であるため、TopoPerceptionはショートカットのない大域的知覚評価を可能にし、意味論的に豊富なタスクとは根本的に異なる。我々は最先端モデルをTopoPerceptionで評価した結果、最も粗い知覚粒度においても、全てのモデルが無作為な推測を上回る性能を示さず、大域的視覚特徴の知覚能力が著しく欠如していることが明らかになった。特に、モデルファミリー内で一貫した傾向が観察された：推論能力が高いより強力なモデルほど、精度が低下する。これは、単なるモデルのスケールアップではこの欠陥を解決できず、むしろ悪化させる可能性を示唆する。進展には新しい学習パラダイムやアーキテクチャが必要である。TopoPerceptionは現在のLVLMの重大なボトルネックを暴露するだけでなく、その大域的視覚知覚を改善するための視点と方向性を提供する。データとコードはhttps://github.com/Wenhao-Zhou/TopoPerception で公開されている。

English

Large Vision-Language Models (LVLMs) typically align visual features from an encoder with a pre-trained Large Language Model (LLM). However, this makes the visual perception module a bottleneck, which constrains the overall capabilities of LVLMs. Conventional evaluation benchmarks, while rich in visual semantics, often contain unavoidable local shortcuts that can lead to an overestimation of models' perceptual abilities. Here, we introduce TopoPerception, a benchmark that leverages topological properties to rigorously evaluate the global visual perception capabilities of LVLMs across various granularities. Since topology depends on the global structure of an image and is invariant to local features, TopoPerception enables a shortcut-free assessment of global perception, fundamentally distinguishing it from semantically rich tasks. We evaluate state-of-the-art models on TopoPerception and find that even at the coarsest perceptual granularity, all models perform no better than random chance, indicating a profound inability to perceive global visual features. Notably, a consistent trend emerge within model families: more powerful models with stronger reasoning capabilities exhibit lower accuracy. This suggests that merely scaling up models is insufficient to address this deficit and may even exacerbate it. Progress may require new training paradigms or architectures. TopoPerception not only exposes a critical bottleneck in current LVLMs but also offers a lens and direction for improving their global visual perception. The data and code are publicly available at: https://github.com/Wenhao-Zhou/TopoPerception.