RankEvolve: Automatización del Descubrimiento de Algoritmos de Recuperación mediante Evolución Dirigida por LLM
RankEvolve: Automating the Discovery of Retrieval Algorithms via LLM-Driven Evolution
February 18, 2026
Autores: Jinming Nian, Fangchen Li, Dae Hoon Park, Yi Fang
cs.AI
Resumen
Los algoritmos de recuperación como BM25 y la verosimilitud de consulta con suavizado de Dirichlet siguen siendo clasificadores iniciales sólidos y eficientes, aunque las mejoras se han basado principalmente en la sintonización de parámetros y la intuición humana. Investigamos si un modelo de lenguaje grande, guiado por un evaluador y una búsqueda evolutiva, puede descubrir automáticamente algoritmos léxicos de recuperación mejorados. Presentamos RankEvolve, una configuración de evolución de programas basada en AlphaEvolve, en la que los algoritmos de clasificación candidatos se representan como código ejecutable y son mutados, recombinados y seleccionados iterativamente en función del rendimiento de recuperación en 12 conjuntos de datos de RI de BEIR y BRIGHT. RankEvolve comienza con dos programas semilla: BM25 y verosimilitud de consulta con suavizado de Dirichlet. Los algoritmos evolucionados son novedosos, efectivos y muestran una transferencia prometedora a los benchmarks completos de BEIR y BRIGHT, así como a TREC DL 19 y 20. Nuestros resultados sugieren que la evolución de programas con LLM guiada por un evaluador es un camino práctico hacia el descubrimiento automático de algoritmos de clasificación novedosos.
English
Retrieval algorithms like BM25 and query likelihood with Dirichlet smoothing remain strong and efficient first-stage rankers, yet improvements have mostly relied on parameter tuning and human intuition. We investigate whether a large language model, guided by an evaluator and evolutionary search, can automatically discover improved lexical retrieval algorithms. We introduce RankEvolve, a program evolution setup based on AlphaEvolve, in which candidate ranking algorithms are represented as executable code and iteratively mutated, recombined, and selected based on retrieval performance across 12 IR datasets from BEIR and BRIGHT. RankEvolve starts from two seed programs: BM25 and query likelihood with Dirichlet smoothing. The evolved algorithms are novel, effective, and show promising transfer to the full BEIR and BRIGHT benchmarks as well as TREC DL 19 and 20. Our results suggest that evaluator-guided LLM program evolution is a practical path towards automatic discovery of novel ranking algorithms.