Unsicherheitsgesteuerte kompositionale Ausrichtung mit teil-zu-ganz semantischer Repräsentativität in hyperbolischen Bild-Sprache-Modellen
Uncertainty-guided Compositional Alignment with Part-to-Whole Semantic Representativeness in Hyperbolic Vision-Language Models
March 23, 2026
Autoren: Hayeon Kim, Ji Ha Jang, Junghun James Kim, Se Young Chun
cs.AI
Zusammenfassung
Während Vision-Language-Modelle (VLMs) bemerkenswerte Leistungen erzielt haben, bleiben ihre euklidischen Einbettungen begrenzt darin, hierarchische Beziehungen wie Teil-Ganzes- oder Eltern-Kind-Strukturen zu erfassen, und stoßen häufig auf Schwierigkeiten in multiobjektiven kompositionellen Szenarien. Hyperbolische VLMs mildern dieses Problem, indem sie hierarchische Strukturen besser erhalten und Teil-Ganzes-Beziehungen (d.h. gesamte Szene und ihre Teilbilder) durch Folgerung modellieren. Allerdings modellieren bestehende Ansätze nicht, dass jeder Teil einen unterschiedlichen Grad an semantischer Repräsentativität für das Ganze besitzt. Wir schlagen UNcertainty-guided Compositional Hyperbolic Alignment (UNCHA) zur Verbesserung hyperbolischer VLMs vor. UNCHA modelliert die semantische Repräsentativität von Teil zu Ganzem mit hyperbolischer Unsicherheit, indem repräsentativeren Teilen eine geringere Unsicherheit und weniger repräsentativen Teilen eine höhere Unsicherheit für die gesamte Szene zugewiesen wird. Diese Repräsentativität wird dann mit unsicherheitsgesteuerten Gewichten in das kontrastive Lernziel integriert. Schließlich wird die Unsicherheit durch einen Entailment-Loss weiter kalibriert, der durch einen entropiebasierten Term regularisiert wird. Mit den vorgeschlagenen Loss-Funktionen lernt UNCHA hyperbolische Einbettungen mit genauerer Teil-Ganzes-Ordnung, die die zugrundeliegende kompositionelle Struktur in einem Bild erfassen und das Verständnis komplexer multiobjektiver Szenen verbessern. UNCHA erzielt state-of-the-art Leistung in Benchmarks für Zero-Shot-Klassifikation, Retrieval und Multi-Label-Klassifikation. Unser Code und unsere Modelle sind verfügbar unter: https://github.com/jeeit17/UNCHA.git.
English
While Vision-Language Models (VLMs) have achieved remarkable performance, their Euclidean embeddings remain limited in capturing hierarchical relationships such as part-to-whole or parent-child structures, and often face challenges in multi-object compositional scenarios. Hyperbolic VLMs mitigate this issue by better preserving hierarchical structures and modeling part-whole relations (i.e., whole scene and its part images) through entailment. However, existing approaches do not model that each part has a different level of semantic representativeness to the whole. We propose UNcertainty-guided Compositional Hyperbolic Alignment (UNCHA) for enhancing hyperbolic VLMs. UNCHA models part-to-whole semantic representativeness with hyperbolic uncertainty, by assigning lower uncertainty to more representative parts and higher uncertainty to less representative ones for the whole scene. This representativeness is then incorporated into the contrastive objective with uncertainty-guided weights. Finally, the uncertainty is further calibrated with an entailment loss regularized by entropy-based term. With the proposed losses, UNCHA learns hyperbolic embeddings with more accurate part-whole ordering, capturing the underlying compositional structure in an image and improving its understanding of complex multi-object scenes. UNCHA achieves state-of-the-art performance on zero-shot classification, retrieval, and multi-label classification benchmarks. Our code and models are available at: https://github.com/jeeit17/UNCHA.git.