HSG : Hypergraphe de Scène Hyperbolique

HSG: Hyperbolic Scene Graph

April 19, 2026

Auteurs: Liyang Wang, Zeyu Zhang, Hao Tang

cs.AI

Résumé

Les représentations par graphes de scène permettent une compréhension visuelle structurée en modélisant les objets et leurs relations, et sont largement utilisées pour le raisonnement multivue et 3D sur les scènes. Les méthodes existantes comme MSG apprennent des plongements de graphes de scène dans l'espace euclidien en utilisant l'apprentissage contrastif et l'association par attention. Cependant, la géométrie euclidienne ne capture pas explicitement les relations d'implication hiérarchique entre les lieux et les objets, limitant la cohérence structurelle des représentations apprises. Pour résoudre ce problème, nous proposons Hyperbolic Scene Graph (HSG), qui apprend des plongements de graphes de scène dans l'espace hyperbolique où les relations hiérarchiques sont naturellement encodées par la distance géométrique. Nos résultats montrent que HSG améliore la qualité de la structure hiérarchique tout en maintenant de solides performances de recherche. Les gains les plus importants sont observés sur les métriques au niveau du graphe : HSG atteint un IoU PP de 33,17 et le plus haut Graph IoU de 33,51, surpassant la meilleure variante d'AoMSG (25,37) de 8,14, ce qui souligne l'efficacité de l'apprentissage de représentations hyperboliques pour la modélisation par graphes de scène. Code : https://github.com/AIGeeksGroup/HSG.

English

Scene graph representations enable structured visual understanding by modeling objects and their relationships, and have been widely used for multiview and 3D scene reasoning. Existing methods such as MSG learn scene graph embeddings in Euclidean space using contrastive learning and attention based association. However, Euclidean geometry does not explicitly capture hierarchical entailment relationships between places and objects, limiting the structural consistency of learned representations. To address this, we propose Hyperbolic Scene Graph (HSG), which learns scene graph embeddings in hyperbolic space where hierarchical relationships are naturally encoded through geometric distance. Our results show that HSG improves hierarchical structure quality while maintaining strong retrieval performance. The largest gains are observed in graph level metrics: HSG achieves a PP IoU of 33.17 and the highest Graph IoU of 33.51, outperforming the best AoMSG variant (25.37) by 8.14, highlighting the effectiveness of hyperbolic representation learning for scene graph modeling. Code: https://github.com/AIGeeksGroup/HSG.