オートインデックス: 検索のための表現プログラムの学習

要旨

本稿では、生ドキュメントを検索システムに露出される表現へと変換する実行可能な変換である、表現プログラムを学習するためのフレームワークAutoIndexを提案する。AutoIndexは、検索器や再ランク付け器、あるいは少数の前処理ハイパーパラメータを調整するのではなく、インデックス作成前にドキュメントをスライス、拡張、正規化、再重み付け、または再編成するプログラムを探索する。各イテレーションにおいて、AutoIndexは検証に基づくプログラム探索を実行し、エージェントが現在のプログラムの障害を診断し、候補となる更新を合成し、その結果のインデックスの下で検索品質を向上させる更新のみを保持する。我々はAutoIndexを、多様な検索タスクからなるベンチマークCRUMBで評価し、全実験でBM25を固定した。学習されたプログラムは、静的全文BM25ベースラインと比較して、全8タスクにおいて再現率を向上させ、Recall@100で平均+8.4%、nDCG@10で平均+8.3%の向上を示し、最大の向上はRecall@100で+30.5%、nDCG@10で+43.6%であった。これらの結果は、ドキュメント表現は検索開始前に行われる固定された前処理の選択として扱われるべきではなく、明示的な最適化対象として捉えるべきであることを示唆している。結果を再現するコードはhttps://github.com/auto-index/autoindexで公開されている。

English

We present AutoIndex, a framework for learning representation programs: executable transformations that map raw documents into the representations exposed to a retrieval system. Rather than tuning retrievers, rerankers, or a small set of preprocessing hyperparameters, AutoIndex searches over programs that slice, enrich, normalize, reweight, or reorganize documents before indexing. At each iteration, AutoIndex performs validation-guided program search, in which agents diagnose failures of the current program and synthesize candidate updates, retaining only updates that improve retrieval quality under the resulting index. We evaluate AutoIndex on CRUMB, a benchmark of heterogeneous retrieval tasks, with BM25 held fixed across all experiments. The learned programs improve recall over a static full-document BM25 baseline on all 8 tasks, with average gains of +8.4% in Recall@100 and +8.3% in nDCG@10, and largest gains of +30.5% in Recall@100 and +43.6% in nDCG@10. These results suggest that document representation should not be treated as a fixed preprocessing choice made before retrieval begins, but as an explicit optimization target. Code to reproduce our results is available at https://github.com/auto-index/autoindex.