ProMSA: Agentes de Búsqueda Multimodal Progresivos para la Respuesta a Preguntas Visuales Basada en Conocimiento

Resumen

La Respuesta a Preguntas Visuales basada en Conocimiento (KB-VQA) requiere que los modelos combinen la comprensión de imágenes con conocimiento externo. La mayoría de los métodos previos utilizan una tubería fija de recuperar y luego generar, con un recuperador preseleccionado y una configuración estática de top-k, que no se adapta durante el razonamiento. Proponemos ProMSA, un agente de búsqueda multimodal progresivo para KB-VQA. Dado un par imagen-pregunta, el agente elige iterativamente entre búsqueda de imagen, búsqueda de texto o detención, bajo presupuestos explícitos de llamadas a herramientas y con deduplicación para evitar recuperaciones redundantes. Para el entrenamiento, primero utilizamos SFT por muestreo por rechazo para aprender formatos válidos de uso de herramientas, luego optimizamos el agente con TN-GSPO, un objetivo de RL a nivel de secuencia que normaliza las actualizaciones tanto por la longitud de generación como por la profundidad de interacción con herramientas. Los experimentos en E-VQA e InfoSeek muestran mejoras consistentes sobre líneas base sólidas de RAG y agentes, así como una mayor precisión en la recuperación y en la respuesta final. El código está disponible en https://github.com/DingWu1021/Promsa.

English

Knowledge-based Visual Question Answering (KB-VQA) requires models to combine image understanding with external knowledge. Most prior methods use a fixed retrieve-then-generate pipeline with a pre-selected retriever and a static top-k setting, which is not adaptive during reasoning. We propose ProMSA, a progressive multimodal search agent for KB-VQA. Given an image-question pair, the agent iteratively chooses image search, text search, or stop, under explicit tool-call budgets and with deduplication to avoid redundant retrieval. For training, we first use rejection-sampling SFT to learn valid tool-use formats, then optimize the agent with TN-GSPO, a sequence-level RL objective that normalizes updates by both generation length and tool-interaction depth. Experiments on E-VQA and InfoSeek show consistent gains over strong RAG and agent baselines, and improved retrieval and end-to-end accuracy. The code is available at https://github.com/DingWu1021/Promsa.