RankEvolve: Automatisering van de Ontdekking van Retrieval-algoritmen via op LLM-Gestuurde Evolutie
RankEvolve: Automating the Discovery of Retrieval Algorithms via LLM-Driven Evolution
February 18, 2026
Auteurs: Jinming Nian, Fangchen Li, Dae Hoon Park, Yi Fang
cs.AI
Samenvatting
Retrievalalgoritmen zoals BM25 en query likelihood met Dirichlet-afvlakking blijven krachtige en efficiënte eerste-fase-rankers, maar verbeteringen zijn tot nu toe voornamelijk gebaseerd op parameterafstemming en menselijke intuïtie. Wij onderzoeken of een groot taalmodel, geleid door een evaluator en evolutionaire zoekopdrachten, automatisch verbeterde lexicale retrievalalgoritmen kan ontdekken. Wij introduceren RankEvolve, een programma-evolutieopzet gebaseerd op AlphaEvolve, waarin kandidaat-rankalgoritmen worden vertegenwoordigd als uitvoerbare code en iteratief worden gemuteerd, gecombineerd en geselecteerd op basis van retrievalscores op 12 IR-datasets van BEIR en BRIGHT. RankEvolve start vanaf twee beginprogramma's: BM25 en query likelihood met Dirichlet-afvlakking. De geëvolueerde algoritmen zijn nieuw, effectief en tonen veelbelovende generalisatie naar de volledige BEIR- en BRIGHT-benchmarks evenals naar TREC DL 19 en 20. Onze resultaten suggereren dat door een evaluator geleide LLM-programma-evolutie een praktische weg is naar de automatische ontdekking van nieuwe rankalgoritmen.
English
Retrieval algorithms like BM25 and query likelihood with Dirichlet smoothing remain strong and efficient first-stage rankers, yet improvements have mostly relied on parameter tuning and human intuition. We investigate whether a large language model, guided by an evaluator and evolutionary search, can automatically discover improved lexical retrieval algorithms. We introduce RankEvolve, a program evolution setup based on AlphaEvolve, in which candidate ranking algorithms are represented as executable code and iteratively mutated, recombined, and selected based on retrieval performance across 12 IR datasets from BEIR and BRIGHT. RankEvolve starts from two seed programs: BM25 and query likelihood with Dirichlet smoothing. The evolved algorithms are novel, effective, and show promising transfer to the full BEIR and BRIGHT benchmarks as well as TREC DL 19 and 20. Our results suggest that evaluator-guided LLM program evolution is a practical path towards automatic discovery of novel ranking algorithms.