Recherche-o1 : Modèles de raisonnement étendus améliorés par la recherche agentique

Search-o1: Agentic Search-Enhanced Large Reasoning Models

January 9, 2025

Auteurs: Xiaoxi Li, Guanting Dong, Jiajie Jin, Yuyao Zhang, Yujia Zhou, Yutao Zhu, Peitian Zhang, Zhicheng Dou

cs.AI

Résumé

Les grands modèles de raisonnement (LRM) tels que OpenAI-o1 ont démontré des capacités impressionnantes de raisonnement étape par étape à long terme grâce à l'apprentissage par renforcement à grande échelle. Cependant, leurs processus de raisonnement étendus souffrent souvent d'une insuffisance de connaissances, entraînant des incertitudes fréquentes et des erreurs potentielles. Pour remédier à cette limitation, nous introduisons Search-o1, un cadre qui améliore les LRM avec un mécanisme de génération augmentée par récupération agentic (RAG) et un module Raison-dans-les-Documents pour affiner les documents récupérés. Search-o1 intègre un flux de travail de recherche agentic dans le processus de raisonnement, permettant la récupération dynamique de connaissances externes lorsque les LRM rencontrent des points de connaissance incertains. De plus, en raison de la nature verbeuse des documents récupérés, nous concevons un module séparé Raison-dans-les-Documents pour analyser profondément les informations récupérées avant de les injecter dans la chaîne de raisonnement, minimisant le bruit et préservant un flux de raisonnement cohérent. Des expériences approfondies sur des tâches de raisonnement complexes en science, mathématiques et codage, ainsi que sur six bancs d'essai de questions-réponses en domaine ouvert, démontrent les performances solides de Search-o1. Cette approche améliore la fiabilité et l'applicabilité des LRM dans des tâches de raisonnement complexes, ouvrant la voie à des systèmes intelligents plus fiables et polyvalents. Le code est disponible sur https://github.com/sunnynexus/Search-o1.

English

Large reasoning models (LRMs) like OpenAI-o1 have demonstrated impressive long stepwise reasoning capabilities through large-scale reinforcement learning. However, their extended reasoning processes often suffer from knowledge insufficiency, leading to frequent uncertainties and potential errors. To address this limitation, we introduce Search-o1, a framework that enhances LRMs with an agentic retrieval-augmented generation (RAG) mechanism and a Reason-in-Documents module for refining retrieved documents. Search-o1 integrates an agentic search workflow into the reasoning process, enabling dynamic retrieval of external knowledge when LRMs encounter uncertain knowledge points. Additionally, due to the verbose nature of retrieved documents, we design a separate Reason-in-Documents module to deeply analyze the retrieved information before injecting it into the reasoning chain, minimizing noise and preserving coherent reasoning flow. Extensive experiments on complex reasoning tasks in science, mathematics, and coding, as well as six open-domain QA benchmarks, demonstrate the strong performance of Search-o1. This approach enhances the trustworthiness and applicability of LRMs in complex reasoning tasks, paving the way for more reliable and versatile intelligent systems. The code is available at https://github.com/sunnynexus/Search-o1.