InSight-doc: 장문서 이해를 위한 에이전트 기반 시각 인식

초록

장문서 이해는 시각적으로 풍부한 많은 페이지에 대해 추론을 수행해야 하는 경우가 많아, 추론 비용이 높아지고 컨텍스트 손상(context rot)에 취약하다. 본 연구에서는 시각 해상도를 적응형 추론 시간 자원으로 간주하는 에이전트 기반 시각 지각 프레임워크인 InSight-doc을 제안한다. InSight-doc은 저해상도에서 시작하여 보다 정밀한 증거를 얻기 위해 고해상도 영역으로 선택적으로 확대하며, 외부 검색기에 의존하지 않는다. 이러한 에이전트를 훈련하기 위해, 영역 수준 확대 궤적이 포함된 17.9K개의 고품질 SFT 예제와 19.2K개의 고난도 RL 예제로 구성된 능동 지각 코퍼스(active-perception corpus)를 구축하였다. SFT+RL을 통해 InSight-doc-8B는 문서 VQA 벤치마크에서 기준 대비 4.3~16.4 정확도 포인트를 향상시킨다. 장문서의 경우 정확도 우위를 유지하면서 환각을 40% 이상 줄이고 추론 지연 시간을 41%~68% 단축한다. 코드, 데이터셋, 모델은 https://github.com/m-Just/InSight-doc 에서 공개한다.

English

Long-document understanding often requires reasoning over many visually rich pages, making inference costly and prone to context rot. In this work, we propose InSight-doc, an agentic visual perception framework that treats visual resolution as an adaptive reasoning-time resource. InSight-doc starts from low resolution and selectively zooms into high-resolution regions for finer evidence, without relying on any external retriever. To train such an agent, we construct an active-perception corpus of 17.9K high-quality SFT examples with region-level zoom-in trajectories, accompanied by 19.2K hard RL examples. Through SFT+RL, InSight-doc-8B improves the baseline by 4.3--16.4 accuracy points over document VQA benchmarks. On long documents, it reduces hallucination by more than 40% and inference latency by 41%--68% while maintaining an accuracy lead. Our code, datasets, and model are released at https://github.com/m-Just/InSight-doc .