視覚的類似性を超えて：知識基盤型視覚質問応答のためのエンティティ整合検索

要旨

知識ベースの視覚質問応答（KB-VQA）は、ロングテールエンティティを含む質問に答えるために外部情報の検索に依存している。しかしながら、既存の検索パイプラインは主にCLIPスタイルのデュアルエンコーダを採用しており、これらはエンティティレベルの意味的整合性よりも表面レベルの視覚的類似性を優先する。このパラダイムは、意味的に同一の概念が大きな視覚的変動を示す場合や、異なるエンティティが視覚的に類似して見える場合にしばしば失敗する。この問題に対処するため、我々はKB-VQAに特化した初のMLLMベースの埋め込み検索器であるKBMRを提案する。KBMRは、MLLMの頑健な自己回帰能力を活用し、画像を概念の同一性をより良く保持する意味空間へ写像する。Wikipedia規模の検索におけるノイズを含む教師信号の問題に取り組むため、連続的なエンティティ整合性重みを生成するMLLMベースの意味判別器を導入する。これらの重みは、効率的なハードネガティブサンプリングと、固定的な二値ラベルを超えたソフトな教師信号を可能にする、新規の連続的意味蒸留の目的関数を導く。広範な実験により、KBMRがCLIPベースラインを大幅に上回り、検索Recall@1で最大14.7%の改善、エンドツーエンドのVQA精度で9.4%の向上を達成することを実証する。コードはhttps://github.com/realHarryX/KBMRで公開されている。

English

Knowledge-Based Visual Question Answering (KB-VQA) relies on retrieving external information to answer queries involving long-tail entities. However, existing retrieval pipelines predominantly employ CLIP-style dual encoders, which prioritize surface-level visual similarity over entity-level semantic alignment. This paradigm often fails when semantically identical concepts exhibit large visual variations or when distinct entities appear visually similar. To address this, we propose KBMR, the first MLLM-based embedding retriever tailored for KB-VQA. Leveraging the robust autoregressive capabilities of MLLMs, KBMR maps images into a semantic space that better preserves concept identity. To tackle the challenge of noisy supervision in Wikipedia-scale retrieval, we introduce an MLLM-based semantic discriminator that generates continuous entity-consistency weights. These weights guide a novel continuous semantic distillation objective, enabling effective hard negative sampling and soft supervision beyond rigid binary labels. Extensive experiments demonstrate that KBMR significantly outperforms CLIP baselines, yielding up to a 14.7% improvement in retrieval Recall@1 and a 9.4% gain in end-to-end VQA accuracy. Code is available at https://github.com/realHarryX/KBMR.