ProMSA: 지식 기반 시각 질문 응답을 위한 점진적 다중모드 검색 에이전트

초록

지식 기반 시각 질의 응답(KB-VQA)은 이미지 이해와 외부 지식을 결합하는 모델을 필요로 한다. 대부분의 기존 방법은 사전 선택된 검색기와 정적 상위 k 설정을 사용하는 고정된 검색 후 생성 파이프라인을 사용하며, 이는 추론 과정에서 적응적이지 않다. 본 논문에서는 KB-VQA를 위한 점진적 다중 모드 검색 에이전트인 ProMSA를 제안한다. 주어진 이미지-질문 쌍에 대해, 에이전트는 명시적인 도구 호출 예산 하에서 반복적으로 이미지 검색, 텍스트 검색 또는 중지를 선택하며, 중복 검색을 피하기 위해 중복 제거를 수행한다. 훈련을 위해 먼저 거부 샘플링 SFT를 사용하여 유효한 도구 사용 형식을 학습한 후, 생성 길이와 도구 상호작용 깊이 모두에 의해 업데이트를 정규화하는 시퀀스 수준 강화 학습 목표인 TN-GSPO로 에이전트를 최적화한다. E-VQA 및 InfoSeek에 대한 실험은 강력한 RAG 및 에이전트 기준선 대비 일관된 성능 향상과 검색 및 종단 간 정확도 개선을 보여준다. 코드는 https://github.com/DingWu1021/Promsa에서 제공된다.

English

Knowledge-based Visual Question Answering (KB-VQA) requires models to combine image understanding with external knowledge. Most prior methods use a fixed retrieve-then-generate pipeline with a pre-selected retriever and a static top-k setting, which is not adaptive during reasoning. We propose ProMSA, a progressive multimodal search agent for KB-VQA. Given an image-question pair, the agent iteratively chooses image search, text search, or stop, under explicit tool-call budgets and with deduplication to avoid redundant retrieval. For training, we first use rejection-sampling SFT to learn valid tool-use formats, then optimize the agent with TN-GSPO, a sequence-level RL objective that normalizes updates by both generation length and tool-interaction depth. Experiments on E-VQA and InfoSeek show consistent gains over strong RAG and agent baselines, and improved retrieval and end-to-end accuracy. The code is available at https://github.com/DingWu1021/Promsa.