El poder subestimado de los modelos de visión para la comprensión estructural de grafos

Resumen

Las Redes Neuronales de Grafos operan mediante la transmisión de mensajes de abajo hacia arriba, lo que difiere fundamentalmente de la percepción visual humana, que capta intuitivamente primero las estructuras globales. Investigamos el potencial subestimado de los modelos de visión para la comprensión de grafos, encontrando que alcanzan un rendimiento comparable al de las GNN en benchmarks establecidos, mientras exhiben patrones de aprendizaje claramente diferentes. Estos comportamientos divergentes, combinados con las limitaciones de los benchmarks existentes que confunden características del dominio con la comprensión topológica, motivan nuestra introducción de GraphAbstract. Este benchmark evalúa la capacidad de los modelos para percibir propiedades globales de los grafos como lo hacen los humanos: reconociendo arquetipos organizacionales, detectando simetrías, percibiendo la fuerza de conectividad e identificando elementos críticos. Nuestros resultados revelan que los modelos de visión superan significativamente a las GNN en tareas que requieren una comprensión estructural holística y mantienen una capacidad de generalización a través de diferentes escalas de grafos, mientras que las GNN luchan con la abstracción de patrones globales y se degradan con el aumento del tamaño del grafo. Este trabajo demuestra que los modelos de visión poseen capacidades notables pero subutilizadas para la comprensión estructural de grafos, particularmente para problemas que requieren conciencia topológica global y razonamiento invariante a la escala. Estos hallazgos abren nuevas vías para aprovechar este potencial subestimado y desarrollar modelos fundacionales de grafos más efectivos para tareas dominadas por el reconocimiento holístico de patrones.

English

Graph Neural Networks operate through bottom-up message-passing, fundamentally differing from human visual perception, which intuitively captures global structures first. We investigate the underappreciated potential of vision models for graph understanding, finding they achieve performance comparable to GNNs on established benchmarks while exhibiting distinctly different learning patterns. These divergent behaviors, combined with limitations of existing benchmarks that conflate domain features with topological understanding, motivate our introduction of GraphAbstract. This benchmark evaluates models' ability to perceive global graph properties as humans do: recognizing organizational archetypes, detecting symmetry, sensing connectivity strength, and identifying critical elements. Our results reveal that vision models significantly outperform GNNs on tasks requiring holistic structural understanding and maintain generalizability across varying graph scales, while GNNs struggle with global pattern abstraction and degrade with increasing graph size. This work demonstrates that vision models possess remarkable yet underutilized capabilities for graph structural understanding, particularly for problems requiring global topological awareness and scale-invariant reasoning. These findings open new avenues to leverage this underappreciated potential for developing more effective graph foundation models for tasks dominated by holistic pattern recognition.

El poder subestimado de los modelos de visión para la comprensión estructural de grafos

The Underappreciated Power of Vision Models for Graph Structural Understanding

Resumen

Support