ConceptFormer: 視覚的文書検索におけるクエリと文書のアライメントのための適応的潜在概念の学習

要旨

視覚的文書検索は、マルチモーダル検索拡張生成の重要な構成要素であり、エビデンスがテキスト、レイアウト、チャート、視覚的構造に分散している文書コレクションから、クエリに関連するページを特定することを目的としている。近年のより細かい粒度の教師信号を目指す取り組みは、主にテキスト記述または局所的な視覚領域をエビデンスの代理として利用している。しかしながら、そのような教師信号は、複雑な視覚的構造を見落としたり、基盤となるエビデンスの不完全かつ不正確な表現を提供したりする可能性がある。これらの限界に対処するため、我々は視覚的文書検索のための潜在概念表現学習フレームワークであるConceptFormerを提案する。ConceptFormerは、テキストの中間表現や生の視覚アノテーションへの直接的な依存を必要とせずに、クエリに関連するエビデンスを、局所的な視覚的エビデンスと意味的関連性を明示的に橋渡しする、連続的かつクエリ条件付きの潜在概念としてモデル化する。訓練中、ConceptFormerは強力な視覚言語モデルを用いて潜在概念トークンの数を動的に決定し、これらの概念をクエリと文書の間の意味的ギャップを橋渡しする中間表現として使用することで、埋め込み空間の学習を導く。多様な視覚的文書検索ベンチマークによる実験では、ConceptFormerが、最強の視覚検索ベースラインと最強のOCRベースのテキスト検索ベースラインに対して、平均NDCG@10でそれぞれ16.7%と22.1%の相対的な改善を達成することを示す。さらなる分析により、潜在概念が局所的な視覚的エビデンスと意味的関連性を効果的につなぎ、検索器が強い検索整合性を維持しながら、細かい粒度のテキスト的手がかりと複雑な文書レベルの視覚的構造の両方を捉えることを可能にすることが明らかになった。コードとデータは https://github.com/Neuir/ConceptFormer で公開されている。

English

Visual document retrieval is a critical component of multimodal retrieval-augmented generation, aiming to identify query-relevant pages from document collections where evidence is distributed across text, layout, charts, and visual structures. Recent efforts toward finer-grained supervision primarily rely on textual descriptions or localized visual regions as evidence proxies. However, such supervision signals may either overlook complex visual structures or provide incomplete and inaccurate representations of the underlying evidence. To address these limitations, we propose ConceptFormer, a latent concept representation learning framework for visual document retrieval. ConceptFormer models query-relevant evidence as continuous, query-conditioned latent concepts that explicitly bridge localized visual evidence and semantic relevance, without requiring either textual intermediate representations or direct reliance on raw visual annotations. During training, ConceptFormer employs a strong vision-language model to dynamically determine the number of latent concept tokens and uses these concepts as an intermediate representation to bridge the semantic gap between queries and documents, thereby guiding the learning of the embedding space. Experiments on diverse visual document retrieval benchmarks demonstrate that ConceptFormer achieves 16.7\% and 22.1\% relative improvements in average NDCG@10 over the strongest visual retrieval baseline and the strongest OCR-based text retrieval baseline, respectively. Further analysis reveals that latent concepts effectively connect localized visual evidence with semantic relevance, enabling the retriever to capture both fine-grained textual cues and complex document-level visual structures while preserving strong retrieval alignment. Codes and data are available at https://github.com/Neuir/ConceptFormer.