VRAG-RL: Stärkung des visuell basierten RAG für das Verständnis visuell reicher Informationen durch iteratives Schlussfolgern mit Reinforcement Learning

VRAG-RL: Empower Vision-Perception-Based RAG for Visually Rich Information Understanding via Iterative Reasoning with Reinforcement Learning

May 28, 2025

Autoren: Qiuchen Wang, Ruixue Ding, Yu Zeng, Zehui Chen, Lin Chen, Shihang Wang, Pengjun Xie, Fei Huang, Feng Zhao

cs.AI

Zusammenfassung

Die effektive Extraktion, das Schlussfolgern und das Verstehen visuell reichhaltiger Informationen bleibt eine Herausforderung für RAG-Methoden (Retrieval-Augmented Generation). Traditionelle textbasierte Ansätze können visuelle Informationen nicht verarbeiten. Andererseits sind aktuelle vision-basierte RAG-Ansätze oft durch feste Pipelines eingeschränkt und haben Schwierigkeiten, effektiv zu schlussfolgern, da die grundlegenden Fähigkeiten der Modelle nicht ausreichend aktiviert werden. Da sich Reinforcement Learning (RL) als vorteilhaft für das Modellschließen erwiesen hat, führen wir VRAG-RL ein, ein neuartiges RL-Framework, das für komplexes Schlussfolgern über visuell reichhaltige Informationen entwickelt wurde. Mit diesem Framework interagieren Vision-Language-Models (VLMs) mit Suchmaschinen, wobei sie eigenständig Einzel- oder Mehrschritt-Schlussfolgerungspfade mithilfe von visuellen Wahrnehmungstokens samplen und kontinuierlich basierend auf diesen Samples optimiert werden. Unser Ansatz hebt zentrale Einschränkungen von RL in RAG-Domänen hervor: (i) Bisherige multimodale RAG-Ansätze integrieren Bilder oft nur oberflächlich in den Kontext, was zu einer unzureichenden Zuweisung von Schlussfolgerungstokens und einer Vernachlässigung der visuellen Wahrnehmung führt; und (ii) Wenn Modelle mit Suchmaschinen interagieren, scheitern ihre Anfragen oft daran, relevante Informationen abzurufen, da sie die Anforderungen nicht präzise artikulieren können, was zu suboptimaler Leistung führt. Um diese Herausforderungen zu bewältigen, definieren wir einen Aktionsraum, der speziell für visuell reichhaltige Eingaben entwickelt wurde, mit Aktionen wie Zuschneiden und Skalieren, die es dem Modell ermöglichen, Informationen von einer groben bis zu einer feinen Perspektive zu sammeln. Darüber hinaus verwenden wir eine einfache, aber effektive Belohnungsfunktion, die die Lücke zwischen den ursprünglichen Anfragen der Benutzer und dem Retriever überbrückt, indem sie das Umschreiben von Anfragen und die Retrieval-Leistung mit einer modellbasierten Belohnung integriert. Unser VRAG-RL optimiert VLMs für RAG-Aufgaben mithilfe speziell entwickelter RL-Strategien und passt das Modell an reale Anwendungen an. Der Code ist verfügbar unter https://github.com/Alibaba-NLP/VRAG{https://github.com/Alibaba-NLP/VRAG}.

English

Effectively retrieving, reasoning and understanding visually rich information remains a challenge for RAG methods. Traditional text-based methods cannot handle visual-related information. On the other hand, current vision-based RAG approaches are often limited by fixed pipelines and frequently struggle to reason effectively due to the insufficient activation of the fundamental capabilities of models. As RL has been proven to be beneficial for model reasoning, we introduce VRAG-RL, a novel RL framework tailored for complex reasoning across visually rich information. With this framework, VLMs interact with search engines, autonomously sampling single-turn or multi-turn reasoning trajectories with the help of visual perception tokens and undergoing continual optimization based on these samples. Our approach highlights key limitations of RL in RAG domains: (i) Prior Multi-modal RAG approaches tend to merely incorporate images into the context, leading to insufficient reasoning token allocation and neglecting visual-specific perception; and (ii) When models interact with search engines, their queries often fail to retrieve relevant information due to the inability to articulate requirements, thereby leading to suboptimal performance. To address these challenges, we define an action space tailored for visually rich inputs, with actions including cropping and scaling, allowing the model to gather information from a coarse-to-fine perspective. Furthermore, to bridge the gap between users' original inquiries and the retriever, we employ a simple yet effective reward that integrates query rewriting and retrieval performance with a model-based reward. Our VRAG-RL optimizes VLMs for RAG tasks using specially designed RL strategies, aligning the model with real-world applications. The code is available at https://github.com/Alibaba-NLP/VRAG{https://github.com/Alibaba-NLP/VRAG}.