좌표 또는 영역 레이블 없이 시각 문서 이해에서의 증거 귀속

초록

신뢰할 수 있는 시각 문서 이해를 위해서는 모델이 각 답변을 뒷받침하는 증거 영역에 귀인할 수 있어야 한다. 최근의 벤치마크와 시스템들은 좌표 인터페이스를 통해 이 단계를 구현한다. 즉, 모델이 문서 내 증거 영역을 표시하는 경계 상자의 좌표를 출력하는 방식이다. 이 인터페이스 하에서 시각-언어 모델들은 답변은 정확하더라도 올바른 영역을 식별하지 못하는 경우가 빈번한데, 이를 귀인 환각(Attribution Hallucination)이라고 한다. 본 연구는 이러한 실패가 모델이 좌표를 통해 표현할 수 있는 범위에 부분적으로 제한되는지 조사한다. 검증된 이중 언어 CiteVQA 하위 집합을 대상으로, 좌표 인터페이스를 언어 인터페이스와 비교한다. 언어 인터페이스에서는 모델이 텍스트만 출력하며 증거를 그대로 인용하고, 다중 모드 검색기가 레이아웃 분석기(표와 그림은 캡션 또는 주석을 통해 인용됨)가 제안한 페이지 영역으로 각 인용문의 위치를 반환한다. 이 비교는 6개의 공개 시각-언어 모델에 대해 반복 수행된다. 좌표 인터페이스와 비교할 때, 증거 재현율은 최대 8포인트에서 26~47 사이로 상승하고, 환각 비율은 대략 절반으로 감소하며, 답변 품질에는 큰 변화가 없다. 이 비교를 바탕으로 동일한 인용-검색 파이프라인을 훈련용 스캐폴드로 활용한다. 긴 문서에 대해 영역 수준의 증거 레이블을 수집하는 데 비용이 많이 들기 때문에, 보상이 정답과 검색된 영역의 크롭에 대한 판단자의 판독에 기반하는 GRPO 레시피를 도입하여, 영역 레이블 없이도 모델이 더 나은 증거를 인용하도록 훈련시키고, 8B 백본의 엄격한 귀인 정확도를 22.4에서 33.8로 향상시킨다. 이러한 결과는 좌표 인터페이스 없이, 또한 비용이 많이 드는 영역 수준의 감독 없이도 귀인을 개선할 수 있는 실용적인 경로를 제시한다.

English

Reliable visual document understanding requires a model to attribute each answer to the evidence regions that support it. Recent benchmarks and systems express this step through a coordinate interface: the model outputs the coordinates of bounding boxes that mark the evidence regions in the document. Under this interface, vision-language models often fail to identify the right regions even when the answer is correct, a failure known as Attribution Hallucination. We present a study that investigates whether this failure is partially limited by what the model can express through coordinates. On a verified bilingual CiteVQA subset, we compare the coordinate interface with a language interface in which the model outputs only text, quoting its evidence verbatim, and a multimodal retriever returns the location of each quote as a page region proposed by a layout parser (tables and figures are quoted through their captions or notes); the comparison is repeated over six open vision-language models. Compared with the coordinate interface, evidence recall rises from at most 8 points to between 26 and 47 and the hallucination rate roughly halves, with little change in answer quality. Building on this comparison, we use the same quote-and-retrieve pipeline as a training scaffold: because region-level evidence labels are expensive to collect for long documents, we introduce a GRPO recipe whose reward is a judge's reading of the gold answer and crops of the retrieved regions, training the model to quote better evidence without any region labels and raising an 8B backbone's strict attributed accuracy from 22.4 to 33.8. These findings indicate a practical path to improve attribution"without a coordinate interface and without costly region-level supervision.