AceSearcher : Amorçage du raisonnement et de la recherche pour les LLM via un auto-apprentissage renforcé

AceSearcher: Bootstrapping Reasoning and Search for LLMs via Reinforced Self-Play

September 29, 2025

papers.authors: Ran Xu, Yuchen Zhuang, Zihan Dong, Jonathan Wang, Yue Yu, Joyce C. Ho, Linjun Zhang, Haoyu Wang, Wenqi Shi, Carl Yang

cs.AI

papers.abstract

Les LLM (modèles de langage de grande taille) augmentés par la recherche peinent souvent à accomplir des tâches de raisonnement complexe en raison d'une récupération multi-sauts inefficace et d'une capacité de raisonnement limitée. Nous proposons AceSearcher, un cadre de jeu coopératif auto-supervisé qui entraîne un seul LLM à alterner entre deux rôles : un décomposeur qui fragmente les requêtes complexes et un solveur qui intègre les contextes récupérés pour générer des réponses. AceSearcher combine un ajustement supervisé sur un mélange diversifié de tâches de recherche, de raisonnement et de décomposition avec un ajustement par renforcement optimisé pour la précision des réponses finales, éliminant ainsi le besoin d'annotations intermédiaires. Des expériences approfondies sur trois tâches intensives en raisonnement à travers 10 ensembles de données montrent qu'AceSearcher surpasse les modèles de référence actuels, obtenant une amélioration moyenne de 7,6 % en termes de correspondance exacte. De manière remarquable, sur des tâches de raisonnement financier au niveau documentaire, AceSearcher-32B atteint les performances du modèle DeepSeek-V3 en utilisant moins de 5 % de ses paramètres. Même à des échelles plus petites (1,5B et 8B), AceSearcher surpasse souvent les LLM augmentés par la recherche existants avec jusqu'à 9 fois plus de paramètres, mettant en évidence son efficacité et son efficience exceptionnelles pour aborder des tâches de raisonnement complexe. Notre code sera publié sur https://github.com/ritaranx/AceSearcher et https://huggingface.co/AceSearcher.

English

Search-augmented LLMs often struggle with complex reasoning tasks due to ineffective multi-hop retrieval and limited reasoning ability. We propose AceSearcher, a cooperative self-play framework that trains a single large language model (LLM) to alternate between two roles: a decomposer that breaks down complex queries and a solver that integrates retrieved contexts for answer generation. AceSearcher couples supervised fine-tuning on a diverse mixture of search, reasoning, and decomposition tasks with reinforcement fine-tuning optimized for final answer accuracy, eliminating the need for intermediate annotations. Extensive experiments on three reasoning-intensive tasks across 10 datasets show that AceSearcher outperforms state-of-the-art baselines, achieving an average exact match improvement of 7.6%. Remarkably, on document-level finance reasoning tasks, AceSearcher-32B matches the performance of the DeepSeek-V3 model using less than 5% of its parameters. Even at smaller scales (1.5B and 8B), AceSearcher often surpasses existing search-augmented LLMs with up to 9x more parameters, highlighting its exceptional efficiency and effectiveness in tackling complex reasoning tasks. Our code will be published at https://github.com/ritaranx/AceSearcher and https://huggingface.co/AceSearcher.