ProMSA: Прогрессивные мультимодальные поисковые агенты для ответов на визуальные вопросы на основе знаний

Аннотация

Визуальный ответ на вопросы на основе знаний (KB-VQA) требует от моделей сочетать понимание изображений с внешними знаниями. Большинство предыдущих методов используют фиксированный конвейер «извлечение-затем-генерация» с предварительно выбранным поисковым модулем и статической настройкой top-k, который не адаптируется в процессе рассуждения. Мы предлагаем ProMSA — прогрессивный мультимодальный поисковый агент для KB-VQA. Для пары «изображение-вопрос» агент итеративно выбирает поиск по изображению, текстовый поиск или остановку в рамках явных бюджетов вызовов инструментов и с дедупликацией для предотвращения избыточного поиска. Для обучения мы сначала используем SFT с выборкой отклонения (rejection-sampling SFT) для изучения корректных форматов использования инструментов, а затем оптимизируем агента с помощью TN-GSPO — объектива RL на уровне последовательности, который нормализует обновления как по длине генерации, так и по глубине взаимодействия с инструментами. Эксперименты на E-VQA и InfoSeek показывают последовательные улучшения по сравнению с сильными базовыми методами RAG и агентами, а также повышение точности поиска и сквозной точности. Код доступен по адресу https://github.com/DingWu1021/Promsa.

English

Knowledge-based Visual Question Answering (KB-VQA) requires models to combine image understanding with external knowledge. Most prior methods use a fixed retrieve-then-generate pipeline with a pre-selected retriever and a static top-k setting, which is not adaptive during reasoning. We propose ProMSA, a progressive multimodal search agent for KB-VQA. Given an image-question pair, the agent iteratively chooses image search, text search, or stop, under explicit tool-call budgets and with deduplication to avoid redundant retrieval. For training, we first use rejection-sampling SFT to learn valid tool-use formats, then optimize the agent with TN-GSPO, a sequence-level RL objective that normalizes updates by both generation length and tool-interaction depth. Experiments on E-VQA and InfoSeek show consistent gains over strong RAG and agent baselines, and improved retrieval and end-to-end accuracy. The code is available at https://github.com/DingWu1021/Promsa.