AceSearcher: Iniciación del Razonamiento y Búsqueda para LLMs mediante Autojuego Reforzado

AceSearcher: Bootstrapping Reasoning and Search for LLMs via Reinforced Self-Play

September 29, 2025

Autores: Ran Xu, Yuchen Zhuang, Zihan Dong, Jonathan Wang, Yue Yu, Joyce C. Ho, Linjun Zhang, Haoyu Wang, Wenqi Shi, Carl Yang

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLM) potenciados por búsqueda a menudo enfrentan dificultades en tareas de razonamiento complejo debido a una recuperación ineficaz de múltiples saltos y una capacidad de razonamiento limitada. Proponemos AceSearcher, un marco de juego cooperativo en el que un único modelo de lenguaje de gran escala (LLM) se entrena para alternar entre dos roles: un descomponedor que divide consultas complejas y un solucionador que integra contextos recuperados para la generación de respuestas. AceSearcher combina un ajuste fino supervisado en una mezcla diversa de tareas de búsqueda, razonamiento y descomposición con un ajuste fino por refuerzo optimizado para la precisión de la respuesta final, eliminando la necesidad de anotaciones intermedias. Experimentos exhaustivos en tres tareas intensivas en razonamiento a través de 10 conjuntos de datos muestran que AceSearcher supera a los modelos de referencia más avanzados, logrando una mejora promedio en la coincidencia exacta del 7.6%. Notablemente, en tareas de razonamiento financiero a nivel de documento, AceSearcher-32B iguala el rendimiento del modelo DeepSeek-V3 utilizando menos del 5% de sus parámetros. Incluso en escalas más pequeñas (1.5B y 8B), AceSearcher a menudo supera a los LLM potenciados por búsqueda existentes con hasta 9 veces más parámetros, destacando su excepcional eficiencia y efectividad en la resolución de tareas de razonamiento complejo. Nuestro código se publicará en https://github.com/ritaranx/AceSearcher y https://huggingface.co/AceSearcher.

English

Search-augmented LLMs often struggle with complex reasoning tasks due to ineffective multi-hop retrieval and limited reasoning ability. We propose AceSearcher, a cooperative self-play framework that trains a single large language model (LLM) to alternate between two roles: a decomposer that breaks down complex queries and a solver that integrates retrieved contexts for answer generation. AceSearcher couples supervised fine-tuning on a diverse mixture of search, reasoning, and decomposition tasks with reinforcement fine-tuning optimized for final answer accuracy, eliminating the need for intermediate annotations. Extensive experiments on three reasoning-intensive tasks across 10 datasets show that AceSearcher outperforms state-of-the-art baselines, achieving an average exact match improvement of 7.6%. Remarkably, on document-level finance reasoning tasks, AceSearcher-32B matches the performance of the DeepSeek-V3 model using less than 5% of its parameters. Even at smaller scales (1.5B and 8B), AceSearcher often surpasses existing search-augmented LLMs with up to 9x more parameters, highlighting its exceptional efficiency and effectiveness in tackling complex reasoning tasks. Our code will be published at https://github.com/ritaranx/AceSearcher and https://huggingface.co/AceSearcher.