ProMSA: Progressive multimodale Suchagenten für wissensbasiertes visuelles Fragebeantworten

Zusammenfassung

Wissensbasiertes visuelles Fragenbeantworten (KB-VQA) erfordert, dass Modelle Bildverständnis mit externem Wissen kombinieren. Die meisten bisherigen Methoden verwenden eine festgelegte Abruf-dann-Generierungs-Pipeline mit einer vorausgewählten Abrufkomponente und einer statischen Top-k-Einstellung, die während des Schlussfolgerns nicht adaptiv ist. Wir schlagen ProMSA vor, einen progressiven multimodalen Suchagenten für KB-VQA. Ausgehend von einem Bild-Frage-Paar wählt der Agent iterativ zwischen Bildsuche, Textsuche oder Stopp unter expliziten Tool-Aufruf-Budgets und mit Deduplizierung, um redundante Abrufe zu vermeiden. Für das Training verwenden wir zunächst Zurückweisungsstichproben-SFT, um gültige Tool-Nutzungsformate zu erlernen, und optimieren dann den Agenten mit TN-GSPO, einem sequenzebenenbasierten RL-Ziel, das die Aktualisierungen sowohl nach Generierungslänge als auch nach Tool-Interaktionstiefe normalisiert. Experimente auf E-VQA und InfoSeek zeigen konsistente Verbesserungen gegenüber starken RAG- und Agent-Baselines sowie eine verbesserte Abruf- und End-to-End-Genauigkeit. Der Code ist verfügbar unter https://github.com/DingWu1021/Promsa.

English

Knowledge-based Visual Question Answering (KB-VQA) requires models to combine image understanding with external knowledge. Most prior methods use a fixed retrieve-then-generate pipeline with a pre-selected retriever and a static top-k setting, which is not adaptive during reasoning. We propose ProMSA, a progressive multimodal search agent for KB-VQA. Given an image-question pair, the agent iteratively chooses image search, text search, or stop, under explicit tool-call budgets and with deduplication to avoid redundant retrieval. For training, we first use rejection-sampling SFT to learn valid tool-use formats, then optimize the agent with TN-GSPO, a sequence-level RL objective that normalizes updates by both generation length and tool-interaction depth. Experiments on E-VQA and InfoSeek show consistent gains over strong RAG and agent baselines, and improved retrieval and end-to-end accuracy. The code is available at https://github.com/DingWu1021/Promsa.