HSG: Hyperbolischer Szenengraph

HSG: Hyperbolic Scene Graph

April 19, 2026

Autoren: Liyang Wang, Zeyu Zhang, Hao Tang

cs.AI

Zusammenfassung

Szenengraph-Repräsentationen ermöglichen strukturiertes visuelles Verständnis durch die Modellierung von Objekten und ihrer Beziehungen und werden häufig für Multiview- und 3D-Szenenreasoning eingesetzt. Bestehende Methoden wie MSG lernen Szenengraph-Einbettungen im euklidischen Raum mittels kontrastivem Lernen und aufmerksamkeitsbasierter Assoziation. Allerdings erfasst die euklidische Geometrie hierarchische Implikationsbeziehungen zwischen Orten und Objekten nicht explizit, was die strukturelle Konsistenz der gelernten Repräsentationen einschränkt. Um dies zu adressieren, schlagen wir Hyperbolic Scene Graph (HSG) vor, das Szenengraph-Einbettungen im hyperbolischen Raum lernt, wo hierarchische Beziehungen natürlich durch geometrische Abstände kodiert werden. Unsere Ergebnisse zeigen, dass HSG die Qualität der hierarchischen Struktur verbessert und gleichzeitig eine hohe Retrieval-Performance beibehält. Die größten Verbesserungen zeigen sich in Graph-Level-Metriken: HSG erreicht einen PP IoU von 33,17 und den höchsten Graph IoU von 33,51, was den besten AoMSG-Varianten (25,37) um 8,14 übertrifft und die Wirksamkeit hyperbolischen Repräsentationslernens für Szenengraph-Modellierung unterstreicht. Code: https://github.com/AIGeeksGroup/HSG.

English

Scene graph representations enable structured visual understanding by modeling objects and their relationships, and have been widely used for multiview and 3D scene reasoning. Existing methods such as MSG learn scene graph embeddings in Euclidean space using contrastive learning and attention based association. However, Euclidean geometry does not explicitly capture hierarchical entailment relationships between places and objects, limiting the structural consistency of learned representations. To address this, we propose Hyperbolic Scene Graph (HSG), which learns scene graph embeddings in hyperbolic space where hierarchical relationships are naturally encoded through geometric distance. Our results show that HSG improves hierarchical structure quality while maintaining strong retrieval performance. The largest gains are observed in graph level metrics: HSG achieves a PP IoU of 33.17 and the highest Graph IoU of 33.51, outperforming the best AoMSG variant (25.37) by 8.14, highlighting the effectiveness of hyperbolic representation learning for scene graph modeling. Code: https://github.com/AIGeeksGroup/HSG.