VRAG-RL: Potenziamento del RAG basato sulla percezione visiva per la comprensione di informazioni visivamente ricche attraverso ragionamento iterativo con apprendimento per rinforzo

VRAG-RL: Empower Vision-Perception-Based RAG for Visually Rich Information Understanding via Iterative Reasoning with Reinforcement Learning

May 28, 2025

Autori: Qiuchen Wang, Ruixue Ding, Yu Zeng, Zehui Chen, Lin Chen, Shihang Wang, Pengjun Xie, Fei Huang, Feng Zhao

cs.AI

Abstract

Recuperare, ragionare e comprendere efficacemente informazioni visivamente ricche rimane una sfida per i metodi RAG. I tradizionali approcci basati su testo non sono in grado di gestire informazioni legate al contesto visivo. D'altra parte, gli attuali approcci RAG basati sulla visione sono spesso limitati da pipeline rigide e faticano a ragionare efficacemente a causa dell'attivazione insufficiente delle capacità fondamentali dei modelli. Poiché l'RL (Reinforcement Learning) si è dimostrato vantaggioso per il ragionamento dei modelli, introduciamo VRAG-RL, un nuovo framework RL progettato per il ragionamento complesso su informazioni visivamente ricche. Con questo framework, i VLMs (Vision-Language Models) interagiscono con i motori di ricerca, campionando autonomamente traiettorie di ragionamento a turno singolo o multiplo con l'aiuto di token di percezione visiva e sottoponendosi a un'ottimizzazione continua basata su questi campioni. Il nostro approccio evidenzia due limitazioni chiave dell'RL nei domini RAG: (i) I precedenti approcci RAG multimodali tendono a incorporare semplicemente le immagini nel contesto, portando a un'allocazione insufficiente dei token di ragionamento e trascurando la percezione specifica del contesto visivo; e (ii) Quando i modelli interagiscono con i motori di ricerca, le loro query spesso non riescono a recuperare informazioni rilevanti a causa dell'incapacità di articolare i requisiti, portando così a prestazioni subottimali. Per affrontare queste sfide, definiamo uno spazio di azioni progettato per input visivamente ricchi, con azioni che includono ritaglio e ridimensionamento, consentendo al modello di raccogliere informazioni da una prospettiva grossolana a fine. Inoltre, per colmare il divario tra le richieste originali degli utenti e il sistema di recupero, utilizziamo una ricompensa semplice ma efficace che integra la riscrittura delle query e le prestazioni di recupero con una ricompensa basata sul modello. Il nostro VRAG-RL ottimizza i VLMs per i task RAG utilizzando strategie RL appositamente progettate, allineando il modello con applicazioni del mondo reale. Il codice è disponibile all'indirizzo https://github.com/Alibaba-NLP/VRAG{https://github.com/Alibaba-NLP/VRAG}.

English

Effectively retrieving, reasoning and understanding visually rich information remains a challenge for RAG methods. Traditional text-based methods cannot handle visual-related information. On the other hand, current vision-based RAG approaches are often limited by fixed pipelines and frequently struggle to reason effectively due to the insufficient activation of the fundamental capabilities of models. As RL has been proven to be beneficial for model reasoning, we introduce VRAG-RL, a novel RL framework tailored for complex reasoning across visually rich information. With this framework, VLMs interact with search engines, autonomously sampling single-turn or multi-turn reasoning trajectories with the help of visual perception tokens and undergoing continual optimization based on these samples. Our approach highlights key limitations of RL in RAG domains: (i) Prior Multi-modal RAG approaches tend to merely incorporate images into the context, leading to insufficient reasoning token allocation and neglecting visual-specific perception; and (ii) When models interact with search engines, their queries often fail to retrieve relevant information due to the inability to articulate requirements, thereby leading to suboptimal performance. To address these challenges, we define an action space tailored for visually rich inputs, with actions including cropping and scaling, allowing the model to gather information from a coarse-to-fine perspective. Furthermore, to bridge the gap between users' original inquiries and the retriever, we employ a simple yet effective reward that integrates query rewriting and retrieval performance with a model-based reward. Our VRAG-RL optimizes VLMs for RAG tasks using specially designed RL strategies, aligning the model with real-world applications. The code is available at https://github.com/Alibaba-NLP/VRAG{https://github.com/Alibaba-NLP/VRAG}.