グラフ構造理解における視覚モデルの過小評価された力

The Underappreciated Power of Vision Models for Graph Structural Understanding

October 27, 2025

著者: Xinjian Zhao, Wei Pang, Zhongkai Xue, Xiangru Jian, Lei Zhang, Yaoyao Xu, Xiaozhuang Song, Shu Wu, Tianshu Yu

cs.AI

要旨

グラフニューラルネットワークはボトムアップ的なメッセージ伝達によって動作し、直感的に大域的な構造を最初に把握する人間の視覚認識とは根本的に異なる。本研究では、グラフ理解における視覚モデルの過小評価されていた可能性を調査し、確立されたベンチマークにおいてGNNと同等の性能を達成しながら、明らかに異なる学習パターンを示すことを発見した。これらの異なる挙動と、ドメイン特徴とトポロジー理解を混同する既存ベンチマークの限界を踏まえ、我々はGraphAbstractを提案する。このベンチマークは、組織の原型認識、対称性の検出、接続強度の感知、重要要素の特定など、人間のように大域的なグラフ特性を認識するモデルの能力を評価する。結果は、視覚モデルが全体的な構造理解を必要とするタスクでGNNを大幅に上回り、様々なグラフ規模にわたる一般化性を維持する一方、GNNは大域的なパターン抽象化に苦戦し、グラフサイズの増大に伴い性能が劣化することを明らかにした。本研究は、視覚モデルがグラフ構造理解において、特に大域的なトポロジー認識とスケール不変な推論を必要とする問題に対して、顕著でありながら十分に活用されていない能力を有することを実証する。これらの発見は、全体的なパターン認識が支配的なタスクにおいて、より効果的なグラフ基盤モデルを開発するためのこの過小評価された可能性を活用する新たな道を開くものである。

English

Graph Neural Networks operate through bottom-up message-passing, fundamentally differing from human visual perception, which intuitively captures global structures first. We investigate the underappreciated potential of vision models for graph understanding, finding they achieve performance comparable to GNNs on established benchmarks while exhibiting distinctly different learning patterns. These divergent behaviors, combined with limitations of existing benchmarks that conflate domain features with topological understanding, motivate our introduction of GraphAbstract. This benchmark evaluates models' ability to perceive global graph properties as humans do: recognizing organizational archetypes, detecting symmetry, sensing connectivity strength, and identifying critical elements. Our results reveal that vision models significantly outperform GNNs on tasks requiring holistic structural understanding and maintain generalizability across varying graph scales, while GNNs struggle with global pattern abstraction and degrade with increasing graph size. This work demonstrates that vision models possess remarkable yet underutilized capabilities for graph structural understanding, particularly for problems requiring global topological awareness and scale-invariant reasoning. These findings open new avenues to leverage this underappreciated potential for developing more effective graph foundation models for tasks dominated by holistic pattern recognition.