UniDoc-RL: RAG Visivo da Grossolano a Fine con Azioni Gerarchiche e Ricompense Dense
UniDoc-RL: Coarse-to-Fine Visual RAG with Hierarchical Actions and Dense Rewards
April 16, 2026
Autori: Jun Wang, Shuo Tan, Zelong Sun, Tiancheng Gu, Yongle Zhao, Ziyong Feng, Kaicheng Yang, Cewu Lu
cs.AI
Abstract
La Generazione Aumentata dal Recupero (RAG) estende i Grandi Modelli Linguistica Visiva (LVLM) con conoscenza visiva esterna. Tuttavia, i sistemi visivi RAG esistenti si basano tipicamente su segnali di recupero generici che trascurano la semantica visiva granulare essenziale per il ragionamento complesso. Per affrontare questa limitazione, proponiamo UniDoc-RL, un framework unificato di apprendimento per rinforzo in cui un agente LVLM esegue congiuntamente recupero, reranking, percezione visiva attiva e ragionamento. UniDoc-RL formula l'acquisizione di informazioni visive come un problema decisionale sequenziale con uno spazio di azione gerarchico. Nello specifico, affina progressivamente l'evidenza visiva da un recupero di documenti a grana grossa a una selezione di immagini a grana fine e a un ritaglio attivo delle regioni, consentendo al modello di sopprimere i contenuti irrilevanti e concentrarsi sulle regioni ad alta densità informativa. Per un addestramento end-to-end efficace, introduciamo uno schema di ricompensa multipla densa che fornisce supervisione consapevole del compito per ogni azione. Basandosi sull'Ottimizzazione della Politica Relativa di Gruppo (GRPO), UniDoc-RL allinea il comportamento dell'agente con molteplici obiettivi senza fare affidamento su una rete di valore separata. Per supportare questo paradigma di addestramento, abbiamo curato un dataset completo di traiettorie di ragionamento di alta qualità con annotazioni granulari delle azioni. Esperimenti su tre benchmark dimostrano che UniDoc-RL supera costantemente le baseline allo stato dell'arte, ottenendo guadagni fino al 17,7% rispetto ai metodi precedenti basati su RL.
English
Retrieval-Augmented Generation (RAG) extends Large Vision-Language Models (LVLMs) with external visual knowledge. However, existing visual RAG systems typically rely on generic retrieval signals that overlook the fine-grained visual semantics essential for complex reasoning. To address this limitation, we propose UniDoc-RL, a unified reinforcement learning framework in which an LVLM agent jointly performs retrieval, reranking, active visual perception, and reasoning. UniDoc-RL formulates visual information acquisition as a sequential decision-making problem with a hierarchical action space. Specifically, it progressively refines visual evidence from coarse-grained document retrieval to fine-grained image selection and active region cropping, allowing the model to suppress irrelevant content and attend to information-dense regions. For effective end-to-end training, we introduce a dense multi-reward scheme that provides task-aware supervision for each action. Based on Group Relative Policy Optimization (GRPO), UniDoc-RL aligns agent behavior with multiple objectives without relying on a separate value network. To support this training paradigm, we curate a comprehensive dataset of high-quality reasoning trajectories with fine-grained action annotations. Experiments on three benchmarks demonstrate that UniDoc-RL consistently surpasses state-of-the-art baselines, yielding up to 17.7% gains over prior RL-based methods.