HSG: Grafo de Escena Hiperbólico

HSG: Hyperbolic Scene Graph

April 19, 2026

Autores: Liyang Wang, Zeyu Zhang, Hao Tang

cs.AI

Resumen

Las representaciones de grafos escénicos permiten una comprensión visual estructurada mediante el modelado de objetos y sus relaciones, y se han utilizado ampliamente para el razonamiento multivista y 3D de escenas. Métodos existentes como MSG aprenden representaciones incrustadas de grafos escénicos en espacio euclidiano utilizando aprendizaje contrastivo y asociación basada en atención. Sin embargo, la geometría euclidiana no captura explícitamente las relaciones de implicación jerárquica entre lugares y objetos, limitando la consistencia estructural de las representaciones aprendidas. Para abordar esto, proponemos el Grafo Escénico Hiperbólico (HSG), que aprende representaciones incrustadas de grafos escénicos en espacio hiperbólico, donde las relaciones jerárquicas se codifican naturalmente a través de la distancia geométrica. Nuestros resultados muestran que HSG mejora la calidad de la estructura jerárquica mientras mantiene un fuerte rendimiento en recuperación. Las mayores mejoras se observan en métricas a nivel de grafo: HSG logra un PP IoU de 33.17 y el Graph IoU más alto de 33.51, superando a la mejor variante de AoMSG (25.37) por 8.14, destacando la efectividad del aprendizaje de representaciones hiperbólicas para el modelado de grafos escénicos. Código: https://github.com/AIGeeksGroup/HSG.

English

Scene graph representations enable structured visual understanding by modeling objects and their relationships, and have been widely used for multiview and 3D scene reasoning. Existing methods such as MSG learn scene graph embeddings in Euclidean space using contrastive learning and attention based association. However, Euclidean geometry does not explicitly capture hierarchical entailment relationships between places and objects, limiting the structural consistency of learned representations. To address this, we propose Hyperbolic Scene Graph (HSG), which learns scene graph embeddings in hyperbolic space where hierarchical relationships are naturally encoded through geometric distance. Our results show that HSG improves hierarchical structure quality while maintaining strong retrieval performance. The largest gains are observed in graph level metrics: HSG achieves a PP IoU of 33.17 and the highest Graph IoU of 33.51, outperforming the best AoMSG variant (25.37) by 8.14, highlighting the effectiveness of hyperbolic representation learning for scene graph modeling. Code: https://github.com/AIGeeksGroup/HSG.