UniDoc-RL: RAG Visual de Grano Grueso a Fino con Acciones Jerárquicas y Recompensas Densas
UniDoc-RL: Coarse-to-Fine Visual RAG with Hierarchical Actions and Dense Rewards
April 16, 2026
Autores: Jun Wang, Shuo Tan, Zelong Sun, Tiancheng Gu, Yongle Zhao, Ziyong Feng, Kaicheng Yang, Cewu Lu
cs.AI
Resumen
La Generación Aumentada por Recuperación (RAG) extiende los Grandes Modelos de Lenguaje y Visión (LVLM) con conocimiento visual externo. Sin embargo, los sistemas visuales RAG existentes suelen depender de señales de recuperación genéricas que pasan por alto la semántica visual de grano fino, esencial para el razonamiento complejo. Para abordar esta limitación, proponemos UniDoc-RL, un marco unificado de aprendizaje por refuerzo en el que un agente LVLM realiza conjuntamente la recuperación, la rerclasificación, la percepción visual activa y el razonamiento. UniDoc-RL formula la adquisición de información visual como un problema de toma de decisiones secuencial con un espacio de acción jerárquico. Específicamente, refina progresivamente la evidencia visual desde una recuperación de documentos de grano grueso hasta una selección de imágenes de grano fino y un recorte activo de regiones, permitiendo que el modelo suprima contenido irrelevante y se centre en regiones densas en información. Para un entrenamiento efectivo de extremo a extremo, introducimos un esquema de recompensa múltiple densa que proporciona supervisión consciente de la tarea para cada acción. Basado en la Optimización de Políticas Relativas de Grupo (GRPO), UniDoc-RL alinea el comportamiento del agente con múltiples objetivos sin depender de una red de valor separada. Para respaldar este paradigma de entrenamiento, hemos creado un conjunto de datos integral de trayectorias de razonamiento de alta calidad con anotaciones de acción de grano fino. Los experimentos en tres benchmarks demuestran que UniDoc-RL supera consistentemente los baselines de última generación, logrando mejoras de hasta el 17.7% respecto a métodos previos basados en RL.
English
Retrieval-Augmented Generation (RAG) extends Large Vision-Language Models (LVLMs) with external visual knowledge. However, existing visual RAG systems typically rely on generic retrieval signals that overlook the fine-grained visual semantics essential for complex reasoning. To address this limitation, we propose UniDoc-RL, a unified reinforcement learning framework in which an LVLM agent jointly performs retrieval, reranking, active visual perception, and reasoning. UniDoc-RL formulates visual information acquisition as a sequential decision-making problem with a hierarchical action space. Specifically, it progressively refines visual evidence from coarse-grained document retrieval to fine-grained image selection and active region cropping, allowing the model to suppress irrelevant content and attend to information-dense regions. For effective end-to-end training, we introduce a dense multi-reward scheme that provides task-aware supervision for each action. Based on Group Relative Policy Optimization (GRPO), UniDoc-RL aligns agent behavior with multiple objectives without relying on a separate value network. To support this training paradigm, we curate a comprehensive dataset of high-quality reasoning trajectories with fine-grained action annotations. Experiments on three benchmarks demonstrate that UniDoc-RL consistently surpasses state-of-the-art baselines, yielding up to 17.7% gains over prior RL-based methods.