UniDoc-RL: Visuelles RAG mit grob-zu-fein-Hierarchie unter Verwendung hierarchischer Aktionen und dichter Belohnungen

UniDoc-RL: Coarse-to-Fine Visual RAG with Hierarchical Actions and Dense Rewards

April 16, 2026

Autoren: Jun Wang, Shuo Tan, Zelong Sun, Tiancheng Gu, Yongle Zhao, Ziyong Feng, Kaicheng Yang, Cewu Lu

cs.AI

Zusammenfassung

Retrieval-Augmented Generation (RAG) erweitert große visuell-sprachliche Modelle (LVLMs) um externes visuelles Wissen. Bisherige visuelle RAG-Systeme stützen sich jedoch typischerweise auf generische Retrieval-Signale, die die feingranularen visuellen Semantiken vernachlässigen, die für komplexes Reasoning essenziell sind. Um diese Einschränkung zu adressieren, schlagen wir UniDoc-RL vor, einen einheitlichen Reinforcement-Learning-Rahmen, in dem ein LVLM-Agent Retrieval, Neusortierung, aktive visuelle Wahrnehmung und Reasoning gemeinsam durchführt. UniDoc-RL formuliert den Erwerb visueller Information als sequenzielles Entscheidungsproblem mit einem hierarchischen Aktionsraum. Konkret verfeinert es visuelle Evidenz schrittweise von grobgranularer Dokumentenretrieval bis hin zu feingranularer Bildauswahl und aktivem Region-Cropping, wodurch das Modell irrelevante Inhalte unterdrücken und sich auf informationsdichte Regionen konzentrieren kann. Für effektives End-to-End-Training führen wir ein dichtes Multi-Belohnungsschema ein, das aufgabenorientierte Supervision für jede Aktion bereitstellt. Basierend auf Group Relative Policy Optimization (GRPO) aligniert UniDoc-RL das Agentenverhalten mit mehreren Zielen, ohne auf ein separates Wertnetzwerk angewiesen zu sein. Um dieses Trainingsparadigma zu unterstützen, haben wir einen umfassenden Datensatz hochwertiger Reasoning-Pfade mit feingranularen Aktionsannotationen kuratiert. Experimente auf drei Benchmarks zeigen, dass UniDoc-RL durchgängig state-of-the-art Baseline-Methoden übertrifft und gegenüber bisherigen RL-basierten Ansätzen Steigerungen von bis zu 17,7 % erzielt.

English

Retrieval-Augmented Generation (RAG) extends Large Vision-Language Models (LVLMs) with external visual knowledge. However, existing visual RAG systems typically rely on generic retrieval signals that overlook the fine-grained visual semantics essential for complex reasoning. To address this limitation, we propose UniDoc-RL, a unified reinforcement learning framework in which an LVLM agent jointly performs retrieval, reranking, active visual perception, and reasoning. UniDoc-RL formulates visual information acquisition as a sequential decision-making problem with a hierarchical action space. Specifically, it progressively refines visual evidence from coarse-grained document retrieval to fine-grained image selection and active region cropping, allowing the model to suppress irrelevant content and attend to information-dense regions. For effective end-to-end training, we introduce a dense multi-reward scheme that provides task-aware supervision for each action. Based on Group Relative Policy Optimization (GRPO), UniDoc-RL aligns agent behavior with multiple objectives without relying on a separate value network. To support this training paradigm, we curate a comprehensive dataset of high-quality reasoning trajectories with fine-grained action annotations. Experiments on three benchmarks demonstrate that UniDoc-RL consistently surpasses state-of-the-art baselines, yielding up to 17.7% gains over prior RL-based methods.