UniDoc-RL : RAG Visuel de Grossier à Fin avec Actions Hiérarchiques et Récompenses Denses
UniDoc-RL: Coarse-to-Fine Visual RAG with Hierarchical Actions and Dense Rewards
April 16, 2026
Auteurs: Jun Wang, Shuo Tan, Zelong Sun, Tiancheng Gu, Yongle Zhao, Ziyong Feng, Kaicheng Yang, Cewu Lu
cs.AI
Résumé
La Génération Augmentée par Récupération (RAG) étend les Grands Modèles Vision-Langage (LVLM) en leur ajoutant des connaissances visuelles externes. Cependant, les systèmes RAG visuels existants reposent généralement sur des signaux de récupération génériques qui négligent la sémantique visuelle fine, essentielle pour un raisonnement complexe. Pour remédier à cette limitation, nous proposons UniDoc-RL, un cadre unifié d'apprentissage par renforcement dans lequel un agent LVLM effectue conjointement la récupération, le reclassement, la perception visuelle active et le raisonnement. UniDoc-RL formule l'acquisition d'informations visuelles comme un problème de prise de décision séquentielle avec un espace d'action hiérarchique. Plus précisément, il affine progressivement les preuves visuelles, passant d'une récupération de documents grossière à une sélection d'images fine et à un rognage actif de régions, permettant au modèle de supprimer le contenu non pertinent et de se concentrer sur les régions riches en information. Pour un entraînement efficace de bout en bout, nous introduisons un schéma de récompenses multiples et denses qui fournit une supervision adaptée à la tâche pour chaque action. Basé sur l'Optimisation des Politiques par Relativité de Groupe (GRPO), UniDoc-RL aligne le comportement de l'agent sur plusieurs objectifs sans dépendre d'un réseau de valeur séparé. Pour soutenir ce paradigme d'entraînement, nous avons constitué un ensemble de données complet de trajectoires de raisonnement de haute qualité avec des annotations d'action granulaires. Les expériences sur trois benchmarks démontrent qu'UniDoc-RL surpasse constamment les meilleures méthodes de référence, obtenant des gains allant jusqu'à 17,7 % par rapport aux méthodes antérieures basées sur l'apprentissage par renforcement.
English
Retrieval-Augmented Generation (RAG) extends Large Vision-Language Models (LVLMs) with external visual knowledge. However, existing visual RAG systems typically rely on generic retrieval signals that overlook the fine-grained visual semantics essential for complex reasoning. To address this limitation, we propose UniDoc-RL, a unified reinforcement learning framework in which an LVLM agent jointly performs retrieval, reranking, active visual perception, and reasoning. UniDoc-RL formulates visual information acquisition as a sequential decision-making problem with a hierarchical action space. Specifically, it progressively refines visual evidence from coarse-grained document retrieval to fine-grained image selection and active region cropping, allowing the model to suppress irrelevant content and attend to information-dense regions. For effective end-to-end training, we introduce a dense multi-reward scheme that provides task-aware supervision for each action. Based on Group Relative Policy Optimization (GRPO), UniDoc-RL aligns agent behavior with multiple objectives without relying on a separate value network. To support this training paradigm, we curate a comprehensive dataset of high-quality reasoning trajectories with fine-grained action annotations. Experiments on three benchmarks demonstrate that UniDoc-RL consistently surpasses state-of-the-art baselines, yielding up to 17.7% gains over prior RL-based methods.