RankEvolve: LLM 기반 진화를 통한 검색 알고리즘 발견 자동화

초록

BM25 및 디리클레 평활화를 적용한 질의 가능도와 같은 검색 알고리즘은 여전히 강력하고 효율적인 1단계 순위 지정 도구이지만, 개선은 대부분 매개변수 조정과 인간의 직관에 의존해 왔습니다. 본 연구는 평가자와 진화 탐색의 지도를 받는 대규모 언어 모델이 향상된 어휘 검색 알고리즘을 자동으로 발견할 수 있는지 조사합니다. 우리는 AlphaEvolve를 기반으로 한 프로그램 진화 설정인 RankEvolve를 소개합니다. 여기서 후보 순위 알고리즘은 실행 가능한 코드로 표현되며, BEIR와 BRIGHT의 12개 IR 데이터셋 전반의 검색 성능을 바탕으로 반복적으로 변이, 재조합 및 선택됩니다. RankEvolve는 BM25와 디리클레 평활화를 적용한 질의 가능도라는 두 개의 시드 프로그램에서 시작합니다. 진화된 알고리즘은 새롭고 효과적이며, 전체 BEIR 및 BRIGHT 벤치마크와 TREC DL 19 및 20로의 유망한 전이 성능을 보여줍니다. 우리의 결과는 평가자 지도 하의 LLM 프로그램 진화가 새로운 순위 알고리즘의 자동 발견을 위한 실용적인 경로임을 시사합니다.

English

Retrieval algorithms like BM25 and query likelihood with Dirichlet smoothing remain strong and efficient first-stage rankers, yet improvements have mostly relied on parameter tuning and human intuition. We investigate whether a large language model, guided by an evaluator and evolutionary search, can automatically discover improved lexical retrieval algorithms. We introduce RankEvolve, a program evolution setup based on AlphaEvolve, in which candidate ranking algorithms are represented as executable code and iteratively mutated, recombined, and selected based on retrieval performance across 12 IR datasets from BEIR and BRIGHT. RankEvolve starts from two seed programs: BM25 and query likelihood with Dirichlet smoothing. The evolved algorithms are novel, effective, and show promising transfer to the full BEIR and BRIGHT benchmarks as well as TREC DL 19 and 20. Our results suggest that evaluator-guided LLM program evolution is a practical path towards automatic discovery of novel ranking algorithms.

RankEvolve: LLM 기반 진화를 통한 검색 알고리즘 발견 자동화

RankEvolve: Automating the Discovery of Retrieval Algorithms via LLM-Driven Evolution

초록

Support