Неопределенность-ориентированное композиционное согласование с часть-целевой семантической репрезентативностью в гиперболических визуально-языковых моделях
Uncertainty-guided Compositional Alignment with Part-to-Whole Semantic Representativeness in Hyperbolic Vision-Language Models
March 23, 2026
Авторы: Hayeon Kim, Ji Ha Jang, Junghun James Kim, Se Young Chun
cs.AI
Аннотация
Хотя модели «визуальный язык» (Vision-Language Models, VLM) демонстрируют выдающиеся результаты, их евклидовы эмбеддинги остаются ограниченными в способности捕获 иерархических отношений, таких как часть-целое или родитель-потомок, и часто сталкиваются с трудностями в сценариях с композицией множества объектов. Гиперболические VLM решают эту проблему, лучше сохраняя иерархические структуры и моделируя отношения часть-целое (например, вся сцена и её частичные изображения) через отношение следования (entailment). Однако существующие подходы не учитывают, что каждая часть имеет разный уровень семантической репрезентативности по отношению к целому. Мы предлагаем метод UNcertainty-guided Compositional Hyperbolic Alignment (UNCHA) для улучшения гиперболических VLM. UNCHA моделирует семантическую репрезентативность части по отношению к целому с помощью гиперболической неопределённости, назначая меньшую неопределённость более репрезентативным частям и большую неопределённость — менее репрезентативным для всей сцены. Затем эта репрезентативность включается в контрастную функцию потерь с весами, управляемыми неопределённостью. Наконец, неопределённость дополнительно калибруется с помощью loss-функции следования, регуляризованной энтропийным членом. С предложенными функциями потерь UNCHA изучает гиперболические эмбеддинги с более точным упорядочиванием часть-целое,捕获 базовую композиционную структуру изображения и улучшая понимание сложных многокомпонентных сцен. UNCHA достигает state-of-the-art результатов на бенчмарках zero-shot классификации, retrieval и многоклассовой классификации. Наш код и модели доступны по адресу: https://github.com/jeeit17/UNCHA.git.
English
While Vision-Language Models (VLMs) have achieved remarkable performance, their Euclidean embeddings remain limited in capturing hierarchical relationships such as part-to-whole or parent-child structures, and often face challenges in multi-object compositional scenarios. Hyperbolic VLMs mitigate this issue by better preserving hierarchical structures and modeling part-whole relations (i.e., whole scene and its part images) through entailment. However, existing approaches do not model that each part has a different level of semantic representativeness to the whole. We propose UNcertainty-guided Compositional Hyperbolic Alignment (UNCHA) for enhancing hyperbolic VLMs. UNCHA models part-to-whole semantic representativeness with hyperbolic uncertainty, by assigning lower uncertainty to more representative parts and higher uncertainty to less representative ones for the whole scene. This representativeness is then incorporated into the contrastive objective with uncertainty-guided weights. Finally, the uncertainty is further calibrated with an entailment loss regularized by entropy-based term. With the proposed losses, UNCHA learns hyperbolic embeddings with more accurate part-whole ordering, capturing the underlying compositional structure in an image and improving its understanding of complex multi-object scenes. UNCHA achieves state-of-the-art performance on zero-shot classification, retrieval, and multi-label classification benchmarks. Our code and models are available at: https://github.com/jeeit17/UNCHA.git.