쌍곡선 비전-언어 모델에서 부분-전체 의미론적 대표성을 활용한 불확실성 기반 구성 정렬

초록

비전-언어 모델(VLM)은 뛰어난 성능을 달성했지만, 유클리드 임베딩은 부분-전체 또는 상위-하위 구조와 같은 계층적 관계를 포착하는 데 한계가 있으며, 다중 객체 구성 시나리오에서 종종 어려움을 겪습니다. 쌍곡선 VLM은 계층 구조를 더 잘 보존하고 함의(entailment)를 통해 부분-전체 관계(즉, 전체 장면과 그 부분 이미지)를 모델링함으로써 이 문제를 완화합니다. 그러나 기존 접근법은 각 부분이 전체에 대해 서로 다른 수준의 의미론적 대표성을 가진다는 점을 모델링하지 않습니다. 본 연구에서는 쌍곡선 VLM 향상을 위해 불확실성 기반 구성적 쌍곡선 정렬(UNcertainty-guided Compositional Hyperbolic Alignment, UNCHA)을 제안합니다. UNCHA는 더 대표적인 부분에는 낮은 불확실성을, 덜 대표적인 부분에는 높은 불확실성을 할당하여 부분-전체 의미론적 대표성을 쌍곡선 불확실성으로 모델링합니다. 이 대표성은 이후 불확실성 기반 가중치를 적용한 대조 목표 함수에 통합됩니다. 마지막으로, 엔트로피 기반 항으로 정규화된 함의 손실(entailment loss)을 통해 불확실성을 추가로 보정합니다. 제안된 손실 함수를 통해 UNCHA는 더 정확한 부분-전체 순서를 갖는 쌍곡선 임베딩을 학습하여 이미지의 기본 구성 구조를 포착하고 복잡한 다중 객체 장면에 대한 이해를 향상시킵니다. UNCHA는 제로샷 분류, 검색 및 다중 레이블 분류 벤치마크에서 최첨단 성능을 달성합니다. 우리의 코드와 모델은 다음에서 확인할 수 있습니다: https://github.com/jeeit17/UNCHA.git.

English

While Vision-Language Models (VLMs) have achieved remarkable performance, their Euclidean embeddings remain limited in capturing hierarchical relationships such as part-to-whole or parent-child structures, and often face challenges in multi-object compositional scenarios. Hyperbolic VLMs mitigate this issue by better preserving hierarchical structures and modeling part-whole relations (i.e., whole scene and its part images) through entailment. However, existing approaches do not model that each part has a different level of semantic representativeness to the whole. We propose UNcertainty-guided Compositional Hyperbolic Alignment (UNCHA) for enhancing hyperbolic VLMs. UNCHA models part-to-whole semantic representativeness with hyperbolic uncertainty, by assigning lower uncertainty to more representative parts and higher uncertainty to less representative ones for the whole scene. This representativeness is then incorporated into the contrastive objective with uncertainty-guided weights. Finally, the uncertainty is further calibrated with an entailment loss regularized by entropy-based term. With the proposed losses, UNCHA learns hyperbolic embeddings with more accurate part-whole ordering, capturing the underlying compositional structure in an image and improving its understanding of complex multi-object scenes. UNCHA achieves state-of-the-art performance on zero-shot classification, retrieval, and multi-label classification benchmarks. Our code and models are available at: https://github.com/jeeit17/UNCHA.git.

쌍곡선 비전-언어 모델에서 부분-전체 의미론적 대표성을 활용한 불확실성 기반 구성 정렬

Uncertainty-guided Compositional Alignment with Part-to-Whole Semantic Representativeness in Hyperbolic Vision-Language Models

초록

Support