DistilVDR: デュアル学生蒸留によるコンパクトなエンドツーエンドの視覚文書検索器

要旨

ビジュアル文書検索（VDR）は、数十億パラメータ規模のモデルが主流であり、コーパス全体のスケールでのインデックス作成が遅く、サービングコストも高いという問題を抱えている。既存の圧縮手法は、小型のマルチベクトルエンコーダをゼロから学習するか、クエリ側のみを蒸留するかのいずれかであり、どちらもコンパクトなシングルベクトル検索器をエンドツーエンドで生成することはできない。本稿では、ポイントワイズコサイン整合損失の下で単一の80億パラメータの視覚言語教師モデルから双方向に蒸留された、5億2400万パラメータのエンドツーエンドVDRシステムであるDistilVDRを提案する。全ての教師信号は凍結された教師モデルの埋め込み空間から得られる。この埋め込み空間自体が関連性教師信号を用いて学習済みであるため、生徒モデルの目的関数には関連性ラベル、ネガティブサンプリング、対比項が一切不要である。VDRのテキストクエリと画像文書という入力の非対称性に合わせて、非対称なエンコーダのみの生徒モデルを採用する。このモデルは視覚的な容量を文書側に集中させ、クエリ側は7000万パラメータに抑えている。同じエンコーダと学習設定を共有し、文書エンコーダの視覚タイル予算のみが異なる2つのバリアントを公開する。DistilVDR-HiResはViDoRe v1+v2+v3で平均NDCG@5 61.74を達成し（80億パラメータの教師モデルの86.9%）、高解像度に敏感なv3ベンチマークにおいて、再現した全ての10億パラメータ未満のベースラインを上回る。一方、DistilVDR-Fastは3分の1の視覚トークン予算で59.98を達成する。両バリアントとも、最強の10億パラメータ未満のマルチベクトルベースラインと比較して15.6倍小さいインデックスで100万文書を格納し、コーパスのインデックス作成を一桁高速化する。コードはhttps://github.com/Ryenhails/NanoVDRで公開している。

English

Visual document retrieval (VDR) is dominated by multi-billion-parameter models that are slow to index at full corpus scale and expensive to serve. Prior compression routes either train a smaller multi-vector encoder from scratch or distil only the query side; neither yields a compact single-vector retriever end-to-end. We present DistilVDR, a 524M end-to-end VDR system distilled bilaterally from a single 8B vision-language teacher under a pointwise cosine alignment loss. All supervision comes from the frozen teacher's embedding space, which was itself trained with relevance supervision, so the student objective needs no relevance labels, negative sampling, or contrastive term. We match VDR's text-query and image-document input asymmetry with an asymmetric encoder-only student that concentrates visual capacity on the document side and keeps the query side at 70M parameters. We release two variants that share the same encoders and training and differ only in the document encoder's visual-tile budget: DistilVDR-HiRes attains 61.74 average NDCG@5 on ViDoRe v1+v2+v3 (86.9% of the 8B teacher) and leads every reproduced sub-1B baseline on the high-resolution-sensitive v3 benchmark, while DistilVDR-Fast attains 59.98 at a 3 times smaller visual-token budget. Both variants store one million documents in a 15.6 times smaller index than the strongest sub-1B multi-vector baseline and index the corpus an order of magnitude faster. The code is available at https://github.com/Ryenhails/NanoVDR.