HSG: 쌍곡면 장면 그래프

초록

신경 그래프 표현은 객체와 그 관계를 모델링하여 구조화된 시각적 이해를 가능하게 하며, 다중 뷰 및 3D 장면 추론에 널리 사용되어 왔습니다. MSG와 같은 기존 방법은 대조 학습과 어텐션 기반 연관성을 사용해 유클리드 공간에서 신경 그래프 임베딩을 학습합니다. 그러나 유클리드 기하학은 장소와 객체 간의 계층적 함의 관계를 명시적으로 포착하지 못해 학습된 표현의 구조적 일관성을 제한합니다. 이를 해결하기 위해 우리는 계층적 관계가 기하학적 거리를 통해 자연스럽게 인코딩되는 쌍곡 공간에서 신경 그래프 임베딩을 학습하는 Hyperbolic Scene Graph(HSG)를 제안합니다. 우리의 결과는 HSG가 강력한 검색 성능을 유지하면서 계층적 구조 품질을 향상시킴을 보여줍니다. 가장 큰 향상은 그래프 수준 지표에서 관찰됩니다: HSG는 33.17의 PP IoU와 가장 높은 33.51의 Graph IoU를 달성하여 최고의 AoMSG 변형(25.37)을 8.14 앞섰으며, 이는 신경 그래프 모델링을 위한 쌍곡 표현 학습의 효과를 입증합니다. 코드: https://github.com/AIGeeksGroup/HSG.

English

Scene graph representations enable structured visual understanding by modeling objects and their relationships, and have been widely used for multiview and 3D scene reasoning. Existing methods such as MSG learn scene graph embeddings in Euclidean space using contrastive learning and attention based association. However, Euclidean geometry does not explicitly capture hierarchical entailment relationships between places and objects, limiting the structural consistency of learned representations. To address this, we propose Hyperbolic Scene Graph (HSG), which learns scene graph embeddings in hyperbolic space where hierarchical relationships are naturally encoded through geometric distance. Our results show that HSG improves hierarchical structure quality while maintaining strong retrieval performance. The largest gains are observed in graph level metrics: HSG achieves a PP IoU of 33.17 and the highest Graph IoU of 33.51, outperforming the best AoMSG variant (25.37) by 8.14, highlighting the effectiveness of hyperbolic representation learning for scene graph modeling. Code: https://github.com/AIGeeksGroup/HSG.

HSG: 쌍곡면 장면 그래프

HSG: Hyperbolic Scene Graph

초록

Support