ConceptFormer: 시각 문서 검색에서 쿼리-문서 정렬을 위한 적응형 잠재 개념 학습

초록

시각 문서 검색은 다중 모달 검색 증강 생성의 핵심 구성 요소로, 텍스트, 레이아웃, 차트, 시각 구조에 걸쳐 증거가 분포된 문서 모음에서 쿼리와 관련된 페이지를 식별하는 것을 목표로 한다. 최근 미세한 수준의 지도 학습을 위한 노력은 주로 텍스트 설명이나 지역화된 시각 영역을 증거 프록시로 활용한다. 그러나 이러한 지도 신호는 복잡한 시각 구조를 간과하거나 근본적인 증거에 대한 불완전하고 부정확한 표현을 제공할 수 있다. 이러한 한계를 해결하기 위해, 우리는 시각 문서 검색을 위한 잠재 개념 표현 학습 프레임워크인 ConceptFormer를 제안한다. ConceptFormer는 쿼리 관련 증거를 연속적이고 쿼리 조건화된 잠재 개념으로 모델링하며, 이는 지역화된 시각 증거와 의미적 관련성을 명시적으로 연결한다. 이 과정에서 텍스트 중간 표현이나 원시 시각 주석에 대한 직접적인 의존이 필요하지 않다. 훈련 중에 ConceptFormer는 강력한 비전-언어 모델을 사용하여 잠재 개념 토큰의 수를 동적으로 결정하고, 이러한 개념을 쿼리와 문서 간의 의미적 격차를 연결하는 중간 표현으로 사용하여 임베딩 공간의 학습을 안내한다. 다양한 시각 문서 검색 벤치마크에 대한 실험에서 ConceptFormer는 가장 강력한 시각 검색 기준선과 가장 강력한 OCR 기반 텍스트 검색 기준선 대비 평균 NDCG@10에서 각각 16.7\% 및 22.1\%의 상대적 개선을 달성함을 보여준다. 추가 분석은 잠재 개념이 지역화된 시각 증거와 의미적 관련성을 효과적으로 연결하여, 검색기가 강력한 검색 정렬을 유지하면서 세밀한 텍스트 단서와 복잡한 문서 수준의 시각 구조를 모두 포착할 수 있게 함을 보여준다. 코드와 데이터는 https://github.com/Neuir/ConceptFormer에서 확인할 수 있다.

English

Visual document retrieval is a critical component of multimodal retrieval-augmented generation, aiming to identify query-relevant pages from document collections where evidence is distributed across text, layout, charts, and visual structures. Recent efforts toward finer-grained supervision primarily rely on textual descriptions or localized visual regions as evidence proxies. However, such supervision signals may either overlook complex visual structures or provide incomplete and inaccurate representations of the underlying evidence. To address these limitations, we propose ConceptFormer, a latent concept representation learning framework for visual document retrieval. ConceptFormer models query-relevant evidence as continuous, query-conditioned latent concepts that explicitly bridge localized visual evidence and semantic relevance, without requiring either textual intermediate representations or direct reliance on raw visual annotations. During training, ConceptFormer employs a strong vision-language model to dynamically determine the number of latent concept tokens and uses these concepts as an intermediate representation to bridge the semantic gap between queries and documents, thereby guiding the learning of the embedding space. Experiments on diverse visual document retrieval benchmarks demonstrate that ConceptFormer achieves 16.7\% and 22.1\% relative improvements in average NDCG@10 over the strongest visual retrieval baseline and the strongest OCR-based text retrieval baseline, respectively. Further analysis reveals that latent concepts effectively connect localized visual evidence with semantic relevance, enabling the retriever to capture both fine-grained textual cues and complex document-level visual structures while preserving strong retrieval alignment. Codes and data are available at https://github.com/Neuir/ConceptFormer.