양방향 개념 대응으로서의 비전-언어 그라운딩

초록

비전-언어 접지(grounding)는 언어를 시각적 콘텐츠에 연결하지만, 기존의 대부분의 접지 정식화는 이를 단방향 위치 파악 문제로 축소한다. 즉, 사전에 지정된 텍스트 구나 범주 이름이 주어졌을 때 해당하는 이미지 영역을 식별하는 것이다. 이러한 설정은 관련 언어 단위가 이미 알려져 있다고 가정하며, 접지된 의사소통에서 더 근본적인 과제, 즉 텍스트의 어떤 부분이 시각적으로 지시적이고 이미지 속 개체와 어떻게 대응하는지를 결정하는 문제를 간과한다. 우리는 접지를 이미지-텍스트 쌍에 대한 양방향 개념 대응으로 정식화한다. 이미지와 짝지어진 텍스트가 주어졌을 때, 관련 텍스트 구간이 주어진다는 가정 없이, 시각적으로 지시적인 텍스트 구간과 인스턴스 수준의 이미지 세그먼트 사이의 모든 대응 관계를 찾아내는 것이 목표이다. 이러한 정식화는 텍스트 분할, 이미지 분할, 교차 모달 정렬을 하나의 대응 예측 문제로 취급함으로써, 구문 접지, 지시 표현 접지, 개방 어휘 검출을 포함한 일반적인 접지 작업들을 통합한다. 이 과제를 해결하기 위해, 우리는 사전 훈련된 비전-언어 모델 위에 구축된 접지 모델인 ConCor-1을 소개한다. 이 모델은 학습 가능한 브리지 토큰을 사용하여 후보 이미지-텍스트 대응을 표현하고, 각 토큰에 대해 텍스트 마스크, 이미지 마스크, 대응 존재 점수를 예측한다. 이 과제를 훈련하고 평가하기 위해, 우리는 다양한 접지 및 분할 데이터셋을 통합된 대응 형식으로 변환한다. 실험 결과, ConCor-1은 베이스라인을 일관되게 능가하여, 긴 캡션 데이터셋에서 대응 F1을 48%, 제로샷 LVIS에서 29% 향상시켰으며, 제로샷 LVIS에서는 대규모 범주 목록이 텍스트 입력으로 사용된다.

English

Vision-language grounding connects language to visual content, yet most existing formulations reduce grounding to a unidirectional localization problem: given a prespecified text phrase or category name, identify the corresponding image region. This setup assumes that the relevant linguistic unit is already known, overlooking a more basic challenge in grounded communication: determining which parts of the text are visually referential and how they correspond to entities in the image. We formulate grounding as bidirectional concept correspondence over an image-text pair. Given an image and its paired text, the goal is to recover all correspondences between visually referential text spans and instance-level image segments, without assuming that the relevant text spans are provided. This formulation unifies common grounding tasks, including phrase grounding, referring expression grounding, and open-vocabulary detection, by treating text segmentation, image segmentation, and cross-modal alignment as a single correspondence prediction problem. To address this task, we introduce ConCor-1, a grounding model built on top of a pretrained vision-language model. It uses learnable bridge tokens to represent candidate image-text correspondences and predicts, for each token, a text mask, an image mask, and a correspondence presence score. To train and evaluate this task, we convert diverse grounding and segmentation datasets into a unified correspondence format. Experiments show that ConCor-1 consistently outperforms baselines, improving correspondence F1 by 48% on the long-caption dataset and by 29% on zero-shot LVIS, where the large category list serves as the text input.