RankEvolve: Automatisierte Entdeckung von Retrieval-Algorithmen durch LLM-gesteuerte Evolution
RankEvolve: Automating the Discovery of Retrieval Algorithms via LLM-Driven Evolution
February 18, 2026
Autoren: Jinming Nian, Fangchen Li, Dae Hoon Park, Yi Fang
cs.AI
Zusammenfassung
Retrieval-Algorithmen wie BM25 und Query Likelihood mit Dirichlet-Glättung bleiben starke und effiziente Erststufen-Ranker, doch Verbesserungen basierten bisher weitgehend auf Parameteroptimierung und menschlicher Intuition. Wir untersuchen, ob ein großes Sprachmodell, geleitet durch einen Evaluator und evolutionäre Suche, automatisch verbesserte lexikalische Retrieval-Algorithmen entdecken kann. Wir stellen RankEvolve vor, ein Programmentwicklungssystem basierend auf AlphaEvolve, bei dem Kandidatenalgorithmen als ausführbarer Code repräsentiert und iterativ mutiert, rekombiniert und anhand der Retrieval-Leistung über 12 IR-Datensätze von BEIR und BRIGHT selektiert werden. RankEvolve startet mit zwei Ausgangsprogrammen: BM25 und Query Likelihood mit Dirichlet-Glättung. Die evolvierten Algorithmen sind neuartig, effektiv und zeigen vielversprechende Übertragbarkeit auf die vollständigen BEIR- und BRIGHT-Benchmarks sowie TREC DL 19 und 20. Unsere Ergebnisse deuten darauf hin, dass evaluatorgesteuerte LLM-Programmevolution ein praktikabler Weg zur automatischen Entdeckung neuartiger Ranking-Algorithmen ist.
English
Retrieval algorithms like BM25 and query likelihood with Dirichlet smoothing remain strong and efficient first-stage rankers, yet improvements have mostly relied on parameter tuning and human intuition. We investigate whether a large language model, guided by an evaluator and evolutionary search, can automatically discover improved lexical retrieval algorithms. We introduce RankEvolve, a program evolution setup based on AlphaEvolve, in which candidate ranking algorithms are represented as executable code and iteratively mutated, recombined, and selected based on retrieval performance across 12 IR datasets from BEIR and BRIGHT. RankEvolve starts from two seed programs: BM25 and query likelihood with Dirichlet smoothing. The evolved algorithms are novel, effective, and show promising transfer to the full BEIR and BRIGHT benchmarks as well as TREC DL 19 and 20. Our results suggest that evaluator-guided LLM program evolution is a practical path towards automatic discovery of novel ranking algorithms.