Repenser la recherche agentique avec Pi-Serini : la recherche lexicale est-elle suffisante ?

Résumé

Un simple retrieveur lexical suffit-il à mesure que les grands modèles de langage (LLM) deviennent plus performants dans une boucle agentique ? Cette question se pose naturellement lorsqu’on construit des systèmes de recherche profonde. Nous la réexaminons en associant BM25 à des LLM de pointe dotés de meilleures capacités de raisonnement et d’utilisation d’outils. Pour aider les chercheurs qui se posent la même question, nous présentons Pi-Serini, un agent de recherche équipé de trois outils permettant de récupérer, parcourir et lire des documents. Nos résultats montrent que, sur BrowseComp-Plus, un retrieveur lexical bien configuré avec une profondeur de récupération suffisante peut soutenir une recherche profonde efficace lorsqu’il est associé à des LLM plus performants. Plus précisément, Pi-Serini avec gpt-5.5 atteint 83,1% de précision des réponses et 94,7% de rappel des preuves mises en évidence, surpassant les agents de recherche publiés qui utilisent des retrieveurs denses. Des ablations contrôlées montrent en outre que l’optimisation de BM25 améliore la précision des réponses de 18,0% et le rappel des preuves mises en évidence de 11,1% par rapport au réglage BM25 par défaut, tandis que l’augmentation de la profondeur de récupération améliore encore le rappel des preuves mises en évidence de 25,3% par rapport au réglage de récupération superficielle. Le code source est disponible à l’adresse https://github.com/justram/pi-serini.

English

Does a lexical retriever suffice as large language models (LLMs) become more capable in an agentic loop? This question naturally arises when building deep research systems. We revisit it by pairing BM25 with frontier LLMs that have better reasoning and tool-use abilities. To support researchers asking the same question, we introduce Pi-Serini, a search agent equipped with three tools for retrieving, browsing, and reading documents. Our results show that, on BrowseComp-Plus, a well-configured lexical retriever with sufficient retrieval depth can support effective deep research when paired with more capable LLMs. Specifically, Pi-Serini with gpt-5.5 achieves 83.1% answer accuracy and 94.7% surfaced evidence recall, outperforming released search agents that use dense retrievers. Controlled ablations further show that BM25 tuning improves answer accuracy by 18.0% and surfaced evidence recall by 11.1% over the default BM25 setting, while increasing retrieval depth further improves surfaced evidence recall by 25.3% over the shallow-retrieval setting. Source code is available at https://github.com/justram/pi-serini.