Alignement compositionnel guidé par l'incertitude avec représentativité sémantique partie-à-tout dans les modèles vision-langage hyperboliques

Uncertainty-guided Compositional Alignment with Part-to-Whole Semantic Representativeness in Hyperbolic Vision-Language Models

March 23, 2026

Auteurs: Hayeon Kim, Ji Ha Jang, Junghun James Kim, Se Young Chun

cs.AI

Résumé

Bien que les modèles vision-langage (VLM) aient atteint des performances remarquables, leurs plongements euclidiens restent limités pour capturer les relations hiérarchiques telles que les structures partie-à-tout ou parent-enfant, et rencontrent souvent des difficultés dans les scénarios compositionnels multi-objets. Les VLM hyperboliques atténuent ce problème en préservant mieux les structures hiérarchiques et en modélisant les relations partie-tout (c'est-à-dire la scène entière et ses images partielles) par inférence. Cependant, les approches existantes ne modélisent pas le fait que chaque partie possède un niveau différent de représentativité sémantique par rapport au tout. Nous proposons UNcertainty-guided Compositional Hyperbolic Alignment (UNCHA) pour améliorer les VLM hyperboliques. UNCHA modélise la représentativité sémantique partie-à-tout avec une incertitude hyperbolique, en attribuant une incertitude plus faible aux parties plus représentatives et une incertitude plus élevée aux parties moins représentatives pour la scène globale. Cette représentativité est ensuite incorporée dans l'objectif contrastif avec des pondérations guidées par l'incertitude. Enfin, l'incertitude est calibrée par une perte d'inférence régularisée par un terme basé sur l'entropie. Grâce aux pertes proposées, UNCHA apprend des plongements hyperboliques avec un ordonnancement partie-tout plus précis, capturant la structure compositionnelle sous-jacente d'une image et améliorant sa compréhension des scènes multi-objets complexes. UNCHA obtient des performances de pointe sur les benchmarks de classification zero-shot, de recherche et de classification multi-labels. Notre code et nos modèles sont disponibles à l'adresse : https://github.com/jeeit17/UNCHA.git.

English

While Vision-Language Models (VLMs) have achieved remarkable performance, their Euclidean embeddings remain limited in capturing hierarchical relationships such as part-to-whole or parent-child structures, and often face challenges in multi-object compositional scenarios. Hyperbolic VLMs mitigate this issue by better preserving hierarchical structures and modeling part-whole relations (i.e., whole scene and its part images) through entailment. However, existing approaches do not model that each part has a different level of semantic representativeness to the whole. We propose UNcertainty-guided Compositional Hyperbolic Alignment (UNCHA) for enhancing hyperbolic VLMs. UNCHA models part-to-whole semantic representativeness with hyperbolic uncertainty, by assigning lower uncertainty to more representative parts and higher uncertainty to less representative ones for the whole scene. This representativeness is then incorporated into the contrastive objective with uncertainty-guided weights. Finally, the uncertainty is further calibrated with an entailment loss regularized by entropy-based term. With the proposed losses, UNCHA learns hyperbolic embeddings with more accurate part-whole ordering, capturing the underlying compositional structure in an image and improving its understanding of complex multi-object scenes. UNCHA achieves state-of-the-art performance on zero-shot classification, retrieval, and multi-label classification benchmarks. Our code and models are available at: https://github.com/jeeit17/UNCHA.git.