ProMSA : Agents de recherche multimodaux progressifs pour la réponse à des questions visuelles basée sur la connaissance

Résumé

La réponse à des questions visuelles basée sur des connaissances (KB-VQA) exige des modèles qu'ils combinent la compréhension d'images avec des connaissances externes. La plupart des méthodes antérieures utilisent un pipeline fixe de recherche puis génération, avec un moteur de recherche présélectionné et un paramètre top-k statique, ce qui n'est pas adaptatif lors du raisonnement. Nous proposons ProMSA, un agent de recherche multimodale progressif pour la KB-VQA. Pour chaque paire image-question, l'agent choisit itérativement une recherche d'image, une recherche textuelle ou l'arrêt, dans le cadre de budgets explicites d'appels d'outils et avec une déduplication pour éviter les recherches redondantes. Pour l'entraînement, nous utilisons d'abord un SFT par échantillonnage par rejet pour apprendre les formats valides d'utilisation des outils, puis nous optimisons l'agent avec TN-GSPO, un objectif d'apprentissage par renforcement au niveau des séquences qui normalise les mises à jour à la fois par la longueur de génération et par la profondeur d'interaction avec les outils. Les expériences sur E-VQA et InfoSeek montrent des améliorations constantes par rapport aux solides références RAG et agents, ainsi qu'une meilleure précision de recherche et de bout en bout. Le code est disponible à l'adresse https://github.com/DingWu1021/Promsa.

English

Knowledge-based Visual Question Answering (KB-VQA) requires models to combine image understanding with external knowledge. Most prior methods use a fixed retrieve-then-generate pipeline with a pre-selected retriever and a static top-k setting, which is not adaptive during reasoning. We propose ProMSA, a progressive multimodal search agent for KB-VQA. Given an image-question pair, the agent iteratively chooses image search, text search, or stop, under explicit tool-call budgets and with deduplication to avoid redundant retrieval. For training, we first use rejection-sampling SFT to learn valid tool-use formats, then optimize the agent with TN-GSPO, a sequence-level RL objective that normalizes updates by both generation length and tool-interaction depth. Experiments on E-VQA and InfoSeek show consistent gains over strong RAG and agent baselines, and improved retrieval and end-to-end accuracy. The code is available at https://github.com/DingWu1021/Promsa.