De Onderschatte Kracht van Visuele Modellen voor het Begrijpen van Grafische Structuren

Samenvatting

Graph Neural Networks werken via bottom-up berichtenoverdracht, wat fundamenteel verschilt van menselijke visuele perceptie, die eerst intuïtief globale structuren vastlegt. Wij onderzoeken het ondergewaardeerde potentieel van visiemodellen voor grafiekbegrip, en constateren dat zij prestaties bereiken die vergelijkbaar zijn met GNNs op gevestigde benchmarks, terwijl zij duidelijk verschillende leerpatronen vertonen. Deze uiteenlopende gedragingen, gecombineerd met de beperkingen van bestaande benchmarks die domeinkenmerken vermengen met topologisch begrip, motiveren onze introductie van GraphAbstract. Deze benchmark evalueert het vermogen van modellen om globale grafiekeigenschappen waar te nemen zoals mensen doen: het herkennen van organisatorische archetypen, het detecteren van symmetrie, het aanvoelen van connectiviteitssterkte en het identificeren van kritieke elementen. Onze resultaten tonen aan dat visiemodellen significant beter presteren dan GNNs bij taken die holistisch structureel begrip vereisen, en generaliseerbaarheid behouden over verschillende grafiekschalen, terwijl GNNs moeite hebben met abstractie van globale patronen en degraderen bij toenemende grafiekgrootte. Dit werk toont aan dat visiemodellen opmerkelijke maar onderbenutte capaciteiten bezitten voor grafiekstructureel begrip, in het bijzonder voor problemen die globaal topologisch bewustzijn en schaalinvariant redeneren vereisen. Deze bevindingen openen nieuwe wegen om dit ondergewaardeerde potentieel te benutten voor de ontwikkeling van effectievere grafiekfoundationmodellen voor taken die gedomineerd worden door holistische patroonherkenning.

English

Graph Neural Networks operate through bottom-up message-passing, fundamentally differing from human visual perception, which intuitively captures global structures first. We investigate the underappreciated potential of vision models for graph understanding, finding they achieve performance comparable to GNNs on established benchmarks while exhibiting distinctly different learning patterns. These divergent behaviors, combined with limitations of existing benchmarks that conflate domain features with topological understanding, motivate our introduction of GraphAbstract. This benchmark evaluates models' ability to perceive global graph properties as humans do: recognizing organizational archetypes, detecting symmetry, sensing connectivity strength, and identifying critical elements. Our results reveal that vision models significantly outperform GNNs on tasks requiring holistic structural understanding and maintain generalizability across varying graph scales, while GNNs struggle with global pattern abstraction and degrade with increasing graph size. This work demonstrates that vision models possess remarkable yet underutilized capabilities for graph structural understanding, particularly for problems requiring global topological awareness and scale-invariant reasoning. These findings open new avenues to leverage this underappreciated potential for developing more effective graph foundation models for tasks dominated by holistic pattern recognition.

De Onderschatte Kracht van Visuele Modellen voor het Begrijpen van Grafische Structuren

The Underappreciated Power of Vision Models for Graph Structural Understanding

Samenvatting

Support