UniDoc-RL: RAG Visual de Granulação Grossa a Fina com Ações Hierárquicas e Recompensas Densas
UniDoc-RL: Coarse-to-Fine Visual RAG with Hierarchical Actions and Dense Rewards
April 16, 2026
Autores: Jun Wang, Shuo Tan, Zelong Sun, Tiancheng Gu, Yongle Zhao, Ziyong Feng, Kaicheng Yang, Cewu Lu
cs.AI
Resumo
A Geração Aumentada por Recuperação (RAG) estende os Grandes Modelos de Linguagem e Visão (LVLMs) com conhecimento visual externo. No entanto, os sistemas visuais de RAG existentes normalmente dependem de sinais de recuperação genéricos que ignoram a semântica visual refinada, essencial para o raciocínio complexo. Para superar esta limitação, propomos o UniDoc-RL, uma estrutura unificada de aprendizagem por reforço na qual um agente LVLM executa conjuntamente a recuperação, reordenação, perceção visual ativa e raciocínio. O UniDoc-RL formula a aquisição de informação visual como um problema de tomada de decisão sequencial com um espaço de ação hierárquico. Especificamente, ele refina progressivamente a evidência visual, desde a recuperação de documentos de granularidade grossa até a seleção de imagens de granularidade fina e o recorte ativo de regiões, permitindo que o modelo suprima conteúdo irrelevante e se concentre em regiões densas em informação. Para um treino eficaz de ponta a ponta, introduzimos um esquema de recompensa múltipla densa que fornece supervisão consciente da tarefa para cada ação. Com base na Otimização de Política Relativa de Grupo (GRPO), o UniDoc-RL alinha o comportamento do agente com múltiplos objetivos sem depender de uma rede de valor separada. Para suportar este paradigma de treino, reunimos um conjunto de dados abrangente de trajetórias de raciocínio de alta qualidade com anotações de ação refinadas. Experiências em três benchmarks demonstram que o UniDoc-RL supera consistentemente as linhas de base mais avançadas, alcançando ganhos de até 17,7% em relação a métodos anteriores baseados em RL.
English
Retrieval-Augmented Generation (RAG) extends Large Vision-Language Models (LVLMs) with external visual knowledge. However, existing visual RAG systems typically rely on generic retrieval signals that overlook the fine-grained visual semantics essential for complex reasoning. To address this limitation, we propose UniDoc-RL, a unified reinforcement learning framework in which an LVLM agent jointly performs retrieval, reranking, active visual perception, and reasoning. UniDoc-RL formulates visual information acquisition as a sequential decision-making problem with a hierarchical action space. Specifically, it progressively refines visual evidence from coarse-grained document retrieval to fine-grained image selection and active region cropping, allowing the model to suppress irrelevant content and attend to information-dense regions. For effective end-to-end training, we introduce a dense multi-reward scheme that provides task-aware supervision for each action. Based on Group Relative Policy Optimization (GRPO), UniDoc-RL aligns agent behavior with multiple objectives without relying on a separate value network. To support this training paradigm, we curate a comprehensive dataset of high-quality reasoning trajectories with fine-grained action annotations. Experiments on three benchmarks demonstrate that UniDoc-RL consistently surpasses state-of-the-art baselines, yielding up to 17.7% gains over prior RL-based methods.