Onzekerheidsgestuurde Compositionele Afstemming met Deel-tot-Geheel Semantische Representativiteit in Hyperbolische Visie-Taalmodellen
Uncertainty-guided Compositional Alignment with Part-to-Whole Semantic Representativeness in Hyperbolic Vision-Language Models
March 23, 2026
Auteurs: Hayeon Kim, Ji Ha Jang, Junghun James Kim, Se Young Chun
cs.AI
Samenvatting
Hoewel Vision-Language Models (VLMs) opmerkelijke prestaties hebben bereikt, blijven hun Euclidische embeddings beperkt in het vastleggen van hiërarchische relaties, zoals deel-geheel- of ouder-kindstructuren, en hebben ze vaak moeite met multi-object compositiescenario's. Hyperbolische VLMs verlichten dit probleem door hiërarchische structuren beter te behouden en deel-geheelrelaties (d.w.z. een volledig scènebeeld en zijn deelafbeeldingen) te modelleren via implicatie. Bestaande benaderingen modelleren echter niet dat elk deel een verschillend niveau van semantische representativiteit voor het geheel heeft. Wij stellen UNcertainty-guided Compositional Hyperbolic Alignment (UNCHA) voor om hyperbolische VLMs te verbeteren. UNCHA modelleert de semantische representativiteit van deel naar geheel met hyperbolische onzekerheid, door een lagere onzekerheid toe te kennen aan meer representatieve delen en een hogere onzekerheid aan minder representatieve delen voor de gehele scène. Deze representativiteit wordt vervolgens opgenomen in het contrastieve doel met onzekerheidsgestuurde gewichten. Ten slotte wordt de onzekerheid verder gekalibreerd met een implicatieverlies geregulariseerd door een op entropie gebaseerde term. Met de voorgestelde verliezen leert UNCHA hyperbolische embeddings met een nauwkeurigere deel-geheelordening, waardoor de onderliggende compositionele structuur in een beeld wordt vastgelegd en het begrip van complexe multi-objectscènes verbetert. UNCHA behaalt state-of-the-art prestaties op benchmarks voor zero-shot classificatie, retrieval en multi-label classificatie. Onze code en modellen zijn beschikbaar op: https://github.com/jeeit17/UNCHA.git.
English
While Vision-Language Models (VLMs) have achieved remarkable performance, their Euclidean embeddings remain limited in capturing hierarchical relationships such as part-to-whole or parent-child structures, and often face challenges in multi-object compositional scenarios. Hyperbolic VLMs mitigate this issue by better preserving hierarchical structures and modeling part-whole relations (i.e., whole scene and its part images) through entailment. However, existing approaches do not model that each part has a different level of semantic representativeness to the whole. We propose UNcertainty-guided Compositional Hyperbolic Alignment (UNCHA) for enhancing hyperbolic VLMs. UNCHA models part-to-whole semantic representativeness with hyperbolic uncertainty, by assigning lower uncertainty to more representative parts and higher uncertainty to less representative ones for the whole scene. This representativeness is then incorporated into the contrastive objective with uncertainty-guided weights. Finally, the uncertainty is further calibrated with an entailment loss regularized by entropy-based term. With the proposed losses, UNCHA learns hyperbolic embeddings with more accurate part-whole ordering, capturing the underlying compositional structure in an image and improving its understanding of complex multi-object scenes. UNCHA achieves state-of-the-art performance on zero-shot classification, retrieval, and multi-label classification benchmarks. Our code and models are available at: https://github.com/jeeit17/UNCHA.git.