Die unterschätzte Leistungsfähigkeit von Bildverarbeitungsmodellen für das strukturelle Verständnis von Graphen

The Underappreciated Power of Vision Models for Graph Structural Understanding

October 27, 2025

papers.authors: Xinjian Zhao, Wei Pang, Zhongkai Xue, Xiangru Jian, Lei Zhang, Yaoyao Xu, Xiaozhuang Song, Shu Wu, Tianshu Yu

cs.AI

papers.abstract

Graph Neural Networks arbeiten durch bottom-up Nachrichtenweitergabe, was sich grundlegend von der menschlichen visuellen Wahrnehmung unterscheidet, die intuitiv zuerst globale Strukturen erfasst. Wir untersuchen das unterschätzte Potenzial von Vision-Modellen für das Graph-Verständnis und stellen fest, dass sie auf etablierten Benchmarks eine mit GNNs vergleichbare Leistung erzielen, dabei jedoch deutlich unterschiedliche Lernmuster aufweisen. Diese unterschiedlichen Verhaltensweisen, kombiniert mit den Einschränkungen bestehender Benchmarks, die Domänenmerkmale mit topologischem Verständnis vermengen, motivieren unsere Einführung von GraphAbstract. Dieser Benchmark bewertet die Fähigkeit von Modellen, globale Grapheneigenschaften wie Menschen wahrzunehmen: das Erkennen von Organisationsarchetypen, das Detektieren von Symmetrie, das Erfassen von Konnektivitätsstärke und das Identifizieren kritischer Elemente. Unsere Ergebnisse zeigen, dass Vision-Modelle bei Aufgaben, die ein holistisches Strukturverständnis erfordern, GNNs signifikant übertreffen und eine Generalisierbarkeit über verschiedene Graphenskalen hinweg beibehalten, während GNNs mit der Abstraktion globaler Muster kämpfen und mit zunehmender Graphengröße an Leistung verlieren. Diese Arbeit demonstriert, dass Vision-Modelle über bemerkenswerte, jedoch ungenutzte Fähigkeiten für das strukturelle Graph-Verständnis verfügen, insbesondere für Probleme, die globales topologisches Bewusstsein und skalierungsinvariantes Schließen erfordern. Diese Erkenntnisse eröffnen neue Wege, um dieses unterschätzte Potenzial für die Entwicklung effektiverer Graph-Foundation-Modelle für Aufgaben zu nutzen, die von holistischer Mustererkennung dominiert werden.

English

Graph Neural Networks operate through bottom-up message-passing, fundamentally differing from human visual perception, which intuitively captures global structures first. We investigate the underappreciated potential of vision models for graph understanding, finding they achieve performance comparable to GNNs on established benchmarks while exhibiting distinctly different learning patterns. These divergent behaviors, combined with limitations of existing benchmarks that conflate domain features with topological understanding, motivate our introduction of GraphAbstract. This benchmark evaluates models' ability to perceive global graph properties as humans do: recognizing organizational archetypes, detecting symmetry, sensing connectivity strength, and identifying critical elements. Our results reveal that vision models significantly outperform GNNs on tasks requiring holistic structural understanding and maintain generalizability across varying graph scales, while GNNs struggle with global pattern abstraction and degrade with increasing graph size. This work demonstrates that vision models possess remarkable yet underutilized capabilities for graph structural understanding, particularly for problems requiring global topological awareness and scale-invariant reasoning. These findings open new avenues to leverage this underappreciated potential for developing more effective graph foundation models for tasks dominated by holistic pattern recognition.