AutoIndex: 검색을 위한 표현 프로그램 학습

초록

본 논문에서는 자동 인덱싱(AutoIndex) 프레임워크를 제안한다. 이는 표현 프로그램(representation program)을 학습하는 프레임워크로, 실행 가능한 변환(executable transformation)을 통해 원시 문서(raw document)를 검색 시스템에 노출되는 표현(representation)으로 변환한다. 검색기(retriever), 재순위화기(reranker), 또는 소수의 전처리 하이퍼파라미터를 조정하는 대신, AutoIndex는 인덱싱 전에 문서를 분할, 보강, 정규화, 재가중치 부여, 재구성하는 프로그램을 탐색한다. 각 반복 단계에서 AutoIndex는 검증 기반 프로그램 탐색(validation-guided program search)을 수행하며, 에이전트(agent)가 현재 프로그램의 실패 원인을 진단하고 후보 업데이트를 합성한 후, 결과 인덱스에서 검색 품질을 향상시키는 업데이트만 유지한다. 우리는 다양한 검색 과제로 구성된 CRUMB 벤치마크에서 AutoIndex를 평가했으며, 모든 실험에서 BM25를 고정하여 사용했다. 학습된 프로그램은 8개 모든 과제에서 정적 전체 문서 BM25 기준선 대비 재현율을 향상시켰으며, Recall@100에서 평균 +8.4%, nDCG@10에서 평균 +8.3%의 성능 향상을 보였고, 최대 Recall@100 +30.5%, nDCG@10 +43.6%의 향상을 달성했다. 이러한 결과는 문서 표현(document representation)이 검색 시작 전에 결정되는 고정된 전처리 선택이 아니라 명시적인 최적화 대상으로 간주되어야 함을 시사한다. 결과 재현을 위한 코드는 https://github.com/auto-index/autoindex 에서 확인할 수 있다.

English

We present AutoIndex, a framework for learning representation programs: executable transformations that map raw documents into the representations exposed to a retrieval system. Rather than tuning retrievers, rerankers, or a small set of preprocessing hyperparameters, AutoIndex searches over programs that slice, enrich, normalize, reweight, or reorganize documents before indexing. At each iteration, AutoIndex performs validation-guided program search, in which agents diagnose failures of the current program and synthesize candidate updates, retaining only updates that improve retrieval quality under the resulting index. We evaluate AutoIndex on CRUMB, a benchmark of heterogeneous retrieval tasks, with BM25 held fixed across all experiments. The learned programs improve recall over a static full-document BM25 baseline on all 8 tasks, with average gains of +8.4% in Recall@100 and +8.3% in nDCG@10, and largest gains of +30.5% in Recall@100 and +43.6% in nDCG@10. These results suggest that document representation should not be treated as a fixed preprocessing choice made before retrieval begins, but as an explicit optimization target. Code to reproduce our results is available at https://github.com/auto-index/autoindex.