Alineación Composicional Guiada por Incertidumbre con Representatividad Semántica de Parte-a-Todo en Modelos Visión-Lenguaje Hiperbólicos
Uncertainty-guided Compositional Alignment with Part-to-Whole Semantic Representativeness in Hyperbolic Vision-Language Models
March 23, 2026
Autores: Hayeon Kim, Ji Ha Jang, Junghun James Kim, Se Young Chun
cs.AI
Resumen
Si bien los Modelos de Visión y Lenguaje (VLM) han logrado un rendimiento notable, sus *embeddings* euclidianos siguen siendo limitados para capturar relaciones jerárquicas, como las estructuras parte-todo o padre-hijo, y a menudo enfrentan desafíos en escenarios compositivos multiobjeto. Los VLM hiperbólicos mitigan este problema preservando mejor las estructuras jerárquicas y modelando las relaciones parte-todo (es decir, la escena completa y sus imágenes parciales) mediante la implicación (*entailment*). Sin embargo, los enfoques existentes no modelan el hecho de que cada parte tiene un nivel diferente de representatividad semántica con respecto al todo. Proponemos la Alineación Hiperbólica Compositiva Guiada por Incertidumbre (UNCHA, por sus siglas en inglés) para mejorar los VLM hiperbólicos. UNCHA modela la representatividad semántica parte-todo con incertidumbre hiperbólica, asignando una menor incertidumbre a las partes más representativas y una mayor incertidumbre a las menos representativas para la escena completa. Esta representatividad se incorpora luego al objetivo contrastivo con pesos guiados por la incertidumbre. Finalmente, la incertidumbre se calibra aún más con una pérdida de implicación regularizada por un término basado en entropía. Con las pérdidas propuestas, UNCHA aprende *embeddings* hiperbólicos con un ordenamiento parte-todo más preciso, capturando la estructura compositiva subyacente en una imagen y mejorando su comprensión de escenas multiobjeto complejas. UNCHA logra un rendimiento state-of-the-art en benchmarks de clasificación *zero-shot*, recuperación y clasificación multi-etiqueta. Nuestro código y modelos están disponibles en: https://github.com/jeeit17/UNCHA.git.
English
While Vision-Language Models (VLMs) have achieved remarkable performance, their Euclidean embeddings remain limited in capturing hierarchical relationships such as part-to-whole or parent-child structures, and often face challenges in multi-object compositional scenarios. Hyperbolic VLMs mitigate this issue by better preserving hierarchical structures and modeling part-whole relations (i.e., whole scene and its part images) through entailment. However, existing approaches do not model that each part has a different level of semantic representativeness to the whole. We propose UNcertainty-guided Compositional Hyperbolic Alignment (UNCHA) for enhancing hyperbolic VLMs. UNCHA models part-to-whole semantic representativeness with hyperbolic uncertainty, by assigning lower uncertainty to more representative parts and higher uncertainty to less representative ones for the whole scene. This representativeness is then incorporated into the contrastive objective with uncertainty-guided weights. Finally, the uncertainty is further calibrated with an entailment loss regularized by entropy-based term. With the proposed losses, UNCHA learns hyperbolic embeddings with more accurate part-whole ordering, capturing the underlying compositional structure in an image and improving its understanding of complex multi-object scenes. UNCHA achieves state-of-the-art performance on zero-shot classification, retrieval, and multi-label classification benchmarks. Our code and models are available at: https://github.com/jeeit17/UNCHA.git.