Allineamento Composizionale Guidato dall'Incertezza con Rappresentatività Semantica Parte-Intero nei Modelli Iperbolici Visione-Linguaggio

Uncertainty-guided Compositional Alignment with Part-to-Whole Semantic Representativeness in Hyperbolic Vision-Language Models

March 23, 2026

Autori: Hayeon Kim, Ji Ha Jang, Junghun James Kim, Se Young Chun

cs.AI

Abstract

Sebbene i Modelli Visione-Linguaggio (VLM) abbiano ottenuto prestazioni notevoli, i loro incorporamenti euclidei rimangono limitati nella capacità di catturare relazioni gerarchiche come strutture parte-tutto o genitore-figlio, e spesso incontrano difficoltà in scenari compositivi multi-oggetto. I VLM iperbolici mitigano questo problema preservando meglio le strutture gerarchiche e modellando le relazioni parte-tutto (ad esempio, la scena intera e le sue immagini costituenti) attraverso il concetto di implicazione (entailment). Tuttavia, gli approcci esistenti non modellano il fatto che ogni parte abbia un diverso livello di rappresentatività semantica rispetto all'insieme. Proponiamo UNCHA (UNcertainty-guided Compositional Hyperbolic Alignment) per potenziare i VLM iperbolici. UNCHA modella la rappresentatività semantica parte-tutto mediante incertezza iperbolica, assegnando un'incertezza inferiore alle parti più rappresentative e un'incertezza maggiore a quelle meno rappresentative per la scena complessiva. Questa rappresentatività viene poi incorporata nella funzione obiettivo contrastiva con pesi guidati dall'incertezza. Infine, l'incertezza viene ulteriormente calibrata con una loss di entailment regolarizzata da un termine basato sull'entropia. Grazie alle loss proposte, UNCHA apprende incorporamenti iperbolici con un ordinamento parte-tutto più accurato, catturando la struttura compositiva sottostante in un'immagine e migliorando la sua comprensione di scene complesse multi-oggetto. UNCHA raggiunge prestazioni all'avanguardia nei benchmark di classificazione zero-shot, retrieval e classificazione multi-label. Il nostro codice e i nostri modelli sono disponibili all'indirizzo: https://github.com/jeeit17/UNCHA.git.

English

While Vision-Language Models (VLMs) have achieved remarkable performance, their Euclidean embeddings remain limited in capturing hierarchical relationships such as part-to-whole or parent-child structures, and often face challenges in multi-object compositional scenarios. Hyperbolic VLMs mitigate this issue by better preserving hierarchical structures and modeling part-whole relations (i.e., whole scene and its part images) through entailment. However, existing approaches do not model that each part has a different level of semantic representativeness to the whole. We propose UNcertainty-guided Compositional Hyperbolic Alignment (UNCHA) for enhancing hyperbolic VLMs. UNCHA models part-to-whole semantic representativeness with hyperbolic uncertainty, by assigning lower uncertainty to more representative parts and higher uncertainty to less representative ones for the whole scene. This representativeness is then incorporated into the contrastive objective with uncertainty-guided weights. Finally, the uncertainty is further calibrated with an entailment loss regularized by entropy-based term. With the proposed losses, UNCHA learns hyperbolic embeddings with more accurate part-whole ordering, capturing the underlying compositional structure in an image and improving its understanding of complex multi-object scenes. UNCHA achieves state-of-the-art performance on zero-shot classification, retrieval, and multi-label classification benchmarks. Our code and models are available at: https://github.com/jeeit17/UNCHA.git.