双方向概念対応としての視覚言語グラウンディング

要旨

視覚言語グラウンディングは言語と視覚コンテンツを結び付けるが、既存の定式化のほとんどは、グラウンディングを単方向の位置特定問題に還元している。すなわち、事前に指定されたテキストフレーズやカテゴリ名が与えられたとき、対応する画像領域を特定するというものである。この設定は、関連する言語単位が既に分かっていることを前提としており、接地されたコミュニケーションにおけるより基本的な課題、すなわちテキストのどの部分が視覚的に参照され、それらが画像内のエンティティとどのように対応するのかを決定する問題を見落としている。我々は、グラウンディングを画像・テキストペア間の双方向的概念対応として定式化する。画像とそれに対応するテキストが与えられたとき、目的は、関連するテキストスパンが提供されているとは仮定せずに、視覚的に参照されるテキストスパンとインスタンスレベルの画像セグメントとの間のすべての対応を復元することである。この定式化は、テキストセグメンテーション、画像セグメンテーション、クロスモーダルな対応付けを単一の対応予測問題として扱うことで、フレーズグラウンディング、参照表現グラウンディング、オープンボキャブラリ検出を含む一般的なグラウンディングタスクを統合する。このタスクに取り組むため、我々は事前学習済み視覚言語モデルの上に構築されたグラウンディングモデルConCor-1を導入する。ConCor-1は、学習可能なブリッジトークンを用いて候補となる画像・テキスト間の対応を表現し、各トークンに対してテキストマスク、画像マスク、対応存在スコアを予測する。このタスクを訓練・評価するために、多様なグラウンディングおよびセグメンテーションデータセットを統一された対応形式に変換する。実験により、ConCor-1はベースラインを一貫して上回り、長文キャプションデータセットでは対応F1を48%改善し、ゼロショットLVISでは29%改善した。ここで、LVISの大規模カテゴリリストはテキスト入力として機能する。

English

Vision-language grounding connects language to visual content, yet most existing formulations reduce grounding to a unidirectional localization problem: given a prespecified text phrase or category name, identify the corresponding image region. This setup assumes that the relevant linguistic unit is already known, overlooking a more basic challenge in grounded communication: determining which parts of the text are visually referential and how they correspond to entities in the image. We formulate grounding as bidirectional concept correspondence over an image-text pair. Given an image and its paired text, the goal is to recover all correspondences between visually referential text spans and instance-level image segments, without assuming that the relevant text spans are provided. This formulation unifies common grounding tasks, including phrase grounding, referring expression grounding, and open-vocabulary detection, by treating text segmentation, image segmentation, and cross-modal alignment as a single correspondence prediction problem. To address this task, we introduce ConCor-1, a grounding model built on top of a pretrained vision-language model. It uses learnable bridge tokens to represent candidate image-text correspondences and predicts, for each token, a text mask, an image mask, and a correspondence presence score. To train and evaluate this task, we convert diverse grounding and segmentation datasets into a unified correspondence format. Experiments show that ConCor-1 consistently outperforms baselines, improving correspondence F1 by 48% on the long-caption dataset and by 29% on zero-shot LVIS, where the large category list serves as the text input.