座標や領域ラベルを用いないビジュアル文書理解におけるエビデンス帰属

要旨

信頼性の高い文書視覚理解には、モデルが各回答をそれを支える証拠領域に帰属させることが求められる。近年のベンチマークやシステムでは、このステップを座標インターフェース（モデルが文書内の証拠領域を示すバウンディングボックスの座標を出力する）で表現する。このインターフェースの下では、視覚言語モデルは回答が正しい場合でも適切な領域を特定できずに失敗することが多く、これは「帰属幻覚（Attribution Hallucination）」として知られる。本研究では、この失敗が、モデルが座標を通じて表現できる範囲に部分的に制限されているかどうかを調査する。検証済みのバイリンガルCiteVQAサブセット上で、座標インターフェースと、モデルがテキストのみを出力し証拠を逐語的に引用する言語インターフェース（マルチモーダル検索器が各引用の位置を、レイアウト解析器が提案するページ領域として返す。表や図はキャプションや注釈を通じて引用される）とを比較し、この比較を6つのオープンソース視覚言語モデルで繰り返した。座標インターフェースと比較して、証拠再現率は最大8ポイントから26～47に上昇し、幻覚率はほぼ半減し、回答品質にはほとんど変化が見られなかった。この比較に基づき、同じ引用・検索パイプラインをトレーニングの足場として利用する：長文書に対する領域レベルの証拠ラベルは収集にコストがかかるため、報酬がゴールド回答と検索領域のクロップに対する評価者の判定であるGRPOレシピを導入し、領域ラベルなしでモデルがより良い証拠を引用するよう訓練し、8Bバックボーンの厳格な帰属精度を22.4から33.8に向上させた。これらの知見は、座標インターフェースや高コストな領域レベルの監督なしに帰属を改善する実用的な道筋を示している。

English

Reliable visual document understanding requires a model to attribute each answer to the evidence regions that support it. Recent benchmarks and systems express this step through a coordinate interface: the model outputs the coordinates of bounding boxes that mark the evidence regions in the document. Under this interface, vision-language models often fail to identify the right regions even when the answer is correct, a failure known as Attribution Hallucination. We present a study that investigates whether this failure is partially limited by what the model can express through coordinates. On a verified bilingual CiteVQA subset, we compare the coordinate interface with a language interface in which the model outputs only text, quoting its evidence verbatim, and a multimodal retriever returns the location of each quote as a page region proposed by a layout parser (tables and figures are quoted through their captions or notes); the comparison is repeated over six open vision-language models. Compared with the coordinate interface, evidence recall rises from at most 8 points to between 26 and 47 and the hallucination rate roughly halves, with little change in answer quality. Building on this comparison, we use the same quote-and-retrieve pipeline as a training scaffold: because region-level evidence labels are expensive to collect for long documents, we introduce a GRPO recipe whose reward is a judge's reading of the gold answer and crops of the retrieved regions, training the model to quote better evidence without any region labels and raising an 8B backbone's strict attributed accuracy from 22.4 to 33.8. These findings indicate a practical path to improve attribution"without a coordinate interface and without costly region-level supervision.