VRAG-RL: Усиление RAG на основе визуального восприятия для понимания визуально насыщенной информации через итеративное рассуждение с подкрепляющим обучением

VRAG-RL: Empower Vision-Perception-Based RAG for Visually Rich Information Understanding via Iterative Reasoning with Reinforcement Learning

May 28, 2025

Авторы: Qiuchen Wang, Ruixue Ding, Yu Zeng, Zehui Chen, Lin Chen, Shihang Wang, Pengjun Xie, Fei Huang, Feng Zhao

cs.AI

Аннотация

Эффективное извлечение, рассуждение и понимание визуально насыщенной информации остаются сложной задачей для методов RAG (Retrieval-Augmented Generation). Традиционные текстовые методы не способны обрабатывать визуально связанную информацию. С другой стороны, современные подходы RAG, основанные на обработке изображений, часто ограничены фиксированными конвейерами и испытывают трудности с эффективным рассуждением из-за недостаточной активации базовых возможностей моделей. Поскольку RL (обучение с подкреплением) доказало свою полезность для рассуждений моделей, мы представляем VRAG-RL — новый RL-фреймворк, разработанный для сложного рассуждения в контексте визуально насыщенной информации. В этом фреймворке модели визуального языка (VLMs) взаимодействуют с поисковыми системами, автономно выбирая одношаговые или многошаговые траектории рассуждения с помощью визуальных токенов восприятия и подвергаясь постоянной оптимизации на основе этих выборок. Наш подход подчеркивает ключевые ограничения RL в областях RAG: (i) Предыдущие мультимодальные подходы RAG часто лишь включают изображения в контекст, что приводит к недостаточному распределению токенов рассуждения и игнорированию визуально-специфического восприятия; (ii) Когда модели взаимодействуют с поисковыми системами, их запросы часто не могут извлечь релевантную информацию из-за неспособности четко сформулировать требования, что приводит к неоптимальной производительности. Для решения этих проблем мы определяем пространство действий, адаптированное для визуально насыщенных входных данных, включая такие действия, как обрезка и масштабирование, что позволяет модели собирать информацию от общего к детальному. Кроме того, чтобы сократить разрыв между исходными запросами пользователей и извлекающей системой, мы используем простую, но эффективную награду, которая интегрирует переформулирование запросов и производительность извлечения с наградой, основанной на модели. Наш VRAG-RL оптимизирует VLMs для задач RAG с помощью специально разработанных RL-стратегий, согласовывая модель с реальными приложениями. Код доступен по адресу https://github.com/Alibaba-NLP/VRAG{https://github.com/Alibaba-NLP/VRAG}.

English

Effectively retrieving, reasoning and understanding visually rich information remains a challenge for RAG methods. Traditional text-based methods cannot handle visual-related information. On the other hand, current vision-based RAG approaches are often limited by fixed pipelines and frequently struggle to reason effectively due to the insufficient activation of the fundamental capabilities of models. As RL has been proven to be beneficial for model reasoning, we introduce VRAG-RL, a novel RL framework tailored for complex reasoning across visually rich information. With this framework, VLMs interact with search engines, autonomously sampling single-turn or multi-turn reasoning trajectories with the help of visual perception tokens and undergoing continual optimization based on these samples. Our approach highlights key limitations of RL in RAG domains: (i) Prior Multi-modal RAG approaches tend to merely incorporate images into the context, leading to insufficient reasoning token allocation and neglecting visual-specific perception; and (ii) When models interact with search engines, their queries often fail to retrieve relevant information due to the inability to articulate requirements, thereby leading to suboptimal performance. To address these challenges, we define an action space tailored for visually rich inputs, with actions including cropping and scaling, allowing the model to gather information from a coarse-to-fine perspective. Furthermore, to bridge the gap between users' original inquiries and the retriever, we employ a simple yet effective reward that integrates query rewriting and retrieval performance with a model-based reward. Our VRAG-RL optimizes VLMs for RAG tasks using specially designed RL strategies, aligning the model with real-world applications. The code is available at https://github.com/Alibaba-NLP/VRAG{https://github.com/Alibaba-NLP/VRAG}.