AceSearcher: Bootstrapping von Reasoning und Suche für LLMs durch verstärktes Selbstspiel

AceSearcher: Bootstrapping Reasoning and Search for LLMs via Reinforced Self-Play

September 29, 2025

papers.authors: Ran Xu, Yuchen Zhuang, Zihan Dong, Jonathan Wang, Yue Yu, Joyce C. Ho, Linjun Zhang, Haoyu Wang, Wenqi Shi, Carl Yang

cs.AI

papers.abstract

Suchverstärkte LLMs haben oft Schwierigkeiten mit komplexen Denkaufgaben aufgrund von ineffektivem Multi-Hop-Retrieval und begrenzter Denkfähigkeit. Wir schlagen AceSearcher vor, ein kooperatives Selbstspiel-Framework, das ein einzelnes großes Sprachmodell (LLM) trainiert, um zwischen zwei Rollen zu wechseln: einem Zerleger, der komplexe Anfragen aufteilt, und einem Löser, der abgerufene Kontexte zur Antwortgeneration integriert. AceSearcher kombiniert überwachtes Feinabstimmen auf einer vielfältigen Mischung aus Such-, Denk- und Zerlegungsaufgaben mit verstärkendem Feinabstimmen, das auf die Genauigkeit der endgültigen Antwort optimiert ist, wodurch die Notwendigkeit für Zwischenannotationen entfällt. Umfangreiche Experimente zu drei denkintensiven Aufgaben über 10 Datensätze zeigen, dass AceSearcher state-of-the-art Baselines übertrifft und eine durchschnittliche Verbesserung der exakten Übereinstimmung von 7,6% erreicht. Bemerkenswerterweise erreicht AceSearcher-32B bei dokumentenbasierten Finanzdenkaufgaben die Leistung des DeepSeek-V3-Modells mit weniger als 5% seiner Parameter. Selbst in kleineren Maßstäben (1,5B und 8B) übertrifft AceSearcher oft bestehende suchverstärkte LLMs mit bis zu 9x mehr Parametern, was seine außergewöhnliche Effizienz und Effektivität bei der Bewältigung komplexer Denkaufgaben unterstreicht. Unser Code wird unter https://github.com/ritaranx/AceSearcher und https://huggingface.co/AceSearcher veröffentlicht.

English

Search-augmented LLMs often struggle with complex reasoning tasks due to ineffective multi-hop retrieval and limited reasoning ability. We propose AceSearcher, a cooperative self-play framework that trains a single large language model (LLM) to alternate between two roles: a decomposer that breaks down complex queries and a solver that integrates retrieved contexts for answer generation. AceSearcher couples supervised fine-tuning on a diverse mixture of search, reasoning, and decomposition tasks with reinforcement fine-tuning optimized for final answer accuracy, eliminating the need for intermediate annotations. Extensive experiments on three reasoning-intensive tasks across 10 datasets show that AceSearcher outperforms state-of-the-art baselines, achieving an average exact match improvement of 7.6%. Remarkably, on document-level finance reasoning tasks, AceSearcher-32B matches the performance of the DeepSeek-V3 model using less than 5% of its parameters. Even at smaller scales (1.5B and 8B), AceSearcher often surpasses existing search-augmented LLMs with up to 9x more parameters, highlighting its exceptional efficiency and effectiveness in tackling complex reasoning tasks. Our code will be published at https://github.com/ritaranx/AceSearcher and https://huggingface.co/AceSearcher.