VRAG-RL: Potenciación de RAG Basado en Percepción Visual para la Comprensión de Información Visualmente Rica mediante Razonamiento Iterativo con Aprendizaje por Refuerzo

VRAG-RL: Empower Vision-Perception-Based RAG for Visually Rich Information Understanding via Iterative Reasoning with Reinforcement Learning

May 28, 2025

Autores: Qiuchen Wang, Ruixue Ding, Yu Zeng, Zehui Chen, Lin Chen, Shihang Wang, Pengjun Xie, Fei Huang, Feng Zhao

cs.AI

Resumen

La recuperación, el razonamiento y la comprensión efectiva de información visualmente rica sigue siendo un desafío para los métodos RAG (Retrieval-Augmented Generation). Los métodos tradicionales basados en texto no pueden manejar información relacionada con elementos visuales. Por otro lado, los enfoques actuales de RAG basados en visión a menudo están limitados por pipelines fijos y frecuentemente tienen dificultades para razonar de manera efectiva debido a la activación insuficiente de las capacidades fundamentales de los modelos. Dado que se ha demostrado que el aprendizaje por refuerzo (RL) es beneficioso para el razonamiento de los modelos, presentamos VRAG-RL, un novedoso marco de RL diseñado para el razonamiento complejo en información visualmente rica. Con este marco, los modelos de lenguaje visual (VLMs) interactúan con motores de búsqueda, muestreando de manera autónoma trayectorias de razonamiento de un solo turno o múltiples turnos con la ayuda de tokens de percepción visual y sometiéndose a una optimización continua basada en estas muestras. Nuestro enfoque destaca limitaciones clave del RL en dominios RAG: (i) Los enfoques previos de RAG multimodal tienden a simplemente incorporar imágenes en el contexto, lo que lleva a una asignación insuficiente de tokens de razonamiento y a descuidar la percepción específica de elementos visuales; y (ii) Cuando los modelos interactúan con motores de búsqueda, sus consultas a menudo no recuperan información relevante debido a la incapacidad de articular los requisitos, lo que resulta en un rendimiento subóptimo. Para abordar estos desafíos, definimos un espacio de acciones diseñado para entradas visualmente ricas, incluyendo acciones como recortar y escalar, lo que permite al modelo recopilar información desde una perspectiva de lo general a lo específico. Además, para cerrar la brecha entre las consultas originales de los usuarios y el recuperador, empleamos una recompensa simple pero efectiva que integra la reescritura de consultas y el rendimiento de recuperación con una recompensa basada en el modelo. Nuestro VRAG-RL optimiza los VLMs para tareas RAG utilizando estrategias de RL especialmente diseñadas, alineando el modelo con aplicaciones del mundo real. El código está disponible en https://github.com/Alibaba-NLP/VRAG{https://github.com/Alibaba-NLP/VRAG}.

English

Effectively retrieving, reasoning and understanding visually rich information remains a challenge for RAG methods. Traditional text-based methods cannot handle visual-related information. On the other hand, current vision-based RAG approaches are often limited by fixed pipelines and frequently struggle to reason effectively due to the insufficient activation of the fundamental capabilities of models. As RL has been proven to be beneficial for model reasoning, we introduce VRAG-RL, a novel RL framework tailored for complex reasoning across visually rich information. With this framework, VLMs interact with search engines, autonomously sampling single-turn or multi-turn reasoning trajectories with the help of visual perception tokens and undergoing continual optimization based on these samples. Our approach highlights key limitations of RL in RAG domains: (i) Prior Multi-modal RAG approaches tend to merely incorporate images into the context, leading to insufficient reasoning token allocation and neglecting visual-specific perception; and (ii) When models interact with search engines, their queries often fail to retrieve relevant information due to the inability to articulate requirements, thereby leading to suboptimal performance. To address these challenges, we define an action space tailored for visually rich inputs, with actions including cropping and scaling, allowing the model to gather information from a coarse-to-fine perspective. Furthermore, to bridge the gap between users' original inquiries and the retriever, we employ a simple yet effective reward that integrates query rewriting and retrieval performance with a model-based reward. Our VRAG-RL optimizes VLMs for RAG tasks using specially designed RL strategies, aligning the model with real-world applications. The code is available at https://github.com/Alibaba-NLP/VRAG{https://github.com/Alibaba-NLP/VRAG}.