HSG: Гиперболический сценарный граф

HSG: Hyperbolic Scene Graph

April 19, 2026

Авторы: Liyang Wang, Zeyu Zhang, Hao Tang

cs.AI

Аннотация

Представления в виде сценовых графов обеспечивают структурированное понимание визуальной информации путем моделирования объектов и их взаимосвязей и широко используются для анализа многовидовых и трехмерных сцен. Существующие методы, такие как MSG, обучают эмбеддинги сценовых графов в евклидовом пространстве с использованием контрастивного обучения и ассоциации на основе внимания. Однако евклидова геометрия не позволяет явно захватывать иерархические отношения следования между местами и объектами, что ограничивает структурную согласованность изучаемых представлений. Для решения этой проблемы мы предлагаем Гиперболический Сценовый Граф (HSG), который обучает эмбеддинги сценовых графов в гиперболическом пространстве, где иерархические отношения естественным образом кодируются через геометрическое расстояние. Наши результаты показывают, что HSG улучшает качество иерархической структуры, сохраняя при этом высокую производительность поиска. Наибольший прирост наблюдается в метриках на уровне графа: HSG достигает PP IoU 33.17 и наивысшего Graph IoU 33.51, превосходя лучший вариант AoMSG (25.37) на 8.14, что подчеркивает эффективность гиперболического обучения представлений для моделирования сценовых графов. Код: https://github.com/AIGeeksGroup/HSG.

English

Scene graph representations enable structured visual understanding by modeling objects and their relationships, and have been widely used for multiview and 3D scene reasoning. Existing methods such as MSG learn scene graph embeddings in Euclidean space using contrastive learning and attention based association. However, Euclidean geometry does not explicitly capture hierarchical entailment relationships between places and objects, limiting the structural consistency of learned representations. To address this, we propose Hyperbolic Scene Graph (HSG), which learns scene graph embeddings in hyperbolic space where hierarchical relationships are naturally encoded through geometric distance. Our results show that HSG improves hierarchical structure quality while maintaining strong retrieval performance. The largest gains are observed in graph level metrics: HSG achieves a PP IoU of 33.17 and the highest Graph IoU of 33.51, outperforming the best AoMSG variant (25.37) by 8.14, highlighting the effectiveness of hyperbolic representation learning for scene graph modeling. Code: https://github.com/AIGeeksGroup/HSG.