InSight-doc：長文書理解のためのエージェント型視覚知覚

要旨

長文書の理解は、多くの視覚的にリッチなページにわたる推論を必要とすることが多く、推論コストが高く、コンテキストの劣化（context rot）が生じやすい。本研究では、視覚解像度を推論時に適応的に調整されるリソースとして扱う、エージェント型の視覚知覚フレームワークであるInSight-docを提案する。InSight-docは低解像度から開始し、より詳細な証拠を得るために高解像度領域へ選択的にズームインする。外部の検索器（レトリーバー）には依存しない。このようなエージェントを訓練するために、領域レベルのズームイン軌跡を含む17.9K件の高品質なSFT（教師ありファインチューニング）例と、19.2K件の高難度RL（強化学習）例からなる能動的知覚コーパスを構築した。SFT+RLにより、InSight-doc-8Bは文書VQAベンチマークにおいてベースラインを4.3〜16.4精度ポイント上回る改善を達成した。長文書においては、精度の優位性を維持しながら、幻覚を40%以上、推論レイテンシを41%〜68%削減する。コード、データセット、モデルはhttps://github.com/m-Just/InSight-doc で公開している。

English

Long-document understanding often requires reasoning over many visually rich pages, making inference costly and prone to context rot. In this work, we propose InSight-doc, an agentic visual perception framework that treats visual resolution as an adaptive reasoning-time resource. InSight-doc starts from low resolution and selectively zooms into high-resolution regions for finer evidence, without relying on any external retriever. To train such an agent, we construct an active-perception corpus of 17.9K high-quality SFT examples with region-level zoom-in trajectories, accompanied by 19.2K hard RL examples. Through SFT+RL, InSight-doc-8B improves the baseline by 4.3--16.4 accuracy points over document VQA benchmarks. On long documents, it reduces hallucination by more than 40% and inference latency by 41%--68% while maintaining an accuracy lead. Our code, datasets, and model are released at https://github.com/m-Just/InSight-doc .