DistilVDR: 이중 학생 증류를 통한 경량화된 종단간 시각 문서 검색기

초록

시각 문서 검색(VDR)은 수십억 파라미터 규모의 모델이 주도하고 있으며, 이러한 모델은 전체 코퍼스 규모에서 인덱싱 속도가 느리고 서빙 비용이 높다. 기존 압축 방식들은 더 작은 멀티-벡터 인코더를 처음부터 학습시키거나 쿼리 측만 증류하는 데 그쳐, 어느 쪽도 엔드-투-엔드로 경량화된 단일-벡터 검색기를 산출하지 못한다. 본 논문에서는 점별 코사인 정렬 손실 하에 단일 80억 파라미터 비전-언어 교사 모델로부터 양방향으로 증류된 5억 2,400만 파라미터 규모의 엔드-투-엔드 VDR 시스템인 DistilVDR을 제시한다. 모든 지도 신호는 동결된 교사 모델의 임베딩 공간에서 비롯되며, 이 임베딩 공간 자체가 관련성 지도로 학습되었으므로 학생 모델의 목적 함수에는 관련성 레이블, 네거티브 샘플링, 대조 항이 필요 없다. 본 연구는 VDR의 텍스트 쿼리-이미지 문서 입력 비대칭성을 비대칭 인코더 전용 학생 모델로 대응하며, 이는 시각적 용량을 문서 측에 집중시키고 쿼리 측은 7,000만 파라미터로 유지한다. 동일한 인코더와 학습 방식을 공유하되 문서 인코더의 비주얼 타일 예산만 다른 두 가지 변형 모델을 공개한다. DistilVDR-HiRes는 ViDoRe v1+v2+v3에서 평균 NDCG@5 61.74를 달성하여 80억 파라미터 교사 모델 대비 86.9%의 성능을 보이며, 고해상도에 민감한 v3 벤치마크에서 재현된 모든 10억 파라미터 미만 기준 모델을 능가한다. DistilVDR-Fast는 3배 더 작은 비주얼 토큰 예산으로 59.98을 달성한다. 두 변형 모델 모두 백만 개 문서를 가장 강력한 10억 파라미터 미만 멀티-벡터 기준 모델보다 15.6배 더 작은 인덱스에 저장하며, 코퍼스 인덱싱 속도는 한 자릿수 더 빠르다. 코드는 https://github.com/Ryenhails/NanoVDR에서 이용 가능하다.

English

Visual document retrieval (VDR) is dominated by multi-billion-parameter models that are slow to index at full corpus scale and expensive to serve. Prior compression routes either train a smaller multi-vector encoder from scratch or distil only the query side; neither yields a compact single-vector retriever end-to-end. We present DistilVDR, a 524M end-to-end VDR system distilled bilaterally from a single 8B vision-language teacher under a pointwise cosine alignment loss. All supervision comes from the frozen teacher's embedding space, which was itself trained with relevance supervision, so the student objective needs no relevance labels, negative sampling, or contrastive term. We match VDR's text-query and image-document input asymmetry with an asymmetric encoder-only student that concentrates visual capacity on the document side and keeps the query side at 70M parameters. We release two variants that share the same encoders and training and differ only in the document encoder's visual-tile budget: DistilVDR-HiRes attains 61.74 average NDCG@5 on ViDoRe v1+v2+v3 (86.9% of the 8B teacher) and leads every reproduced sub-1B baseline on the high-resolution-sensitive v3 benchmark, while DistilVDR-Fast attains 59.98 at a 3 times smaller visual-token budget. Both variants store one million documents in a 15.6 times smaller index than the strongest sub-1B multi-vector baseline and index the corpus an order of magnitude faster. The code is available at https://github.com/Ryenhails/NanoVDR.