Search-o1: エージェント型検索拡張大規模推論モデル

Search-o1: Agentic Search-Enhanced Large Reasoning Models

January 9, 2025

著者: Xiaoxi Li, Guanting Dong, Jiajie Jin, Yuyao Zhang, Yujia Zhou, Yutao Zhu, Peitian Zhang, Zhicheng Dou

cs.AI

要旨

OpenAI-o1のような大規模推論モデル（LRM）は、大規模強化学習を通じて印象的な多段階推論能力を実証している。しかし、その長い推論プロセスでは知識不足が生じやすく、頻繁な不確実性や誤りの潜在リスクが伴う。この課題を解決するため、本論文ではSearch-o1を提案する。これはLRMに、エージェント的な検索拡張生成（RAG）機構と、検索文書を精査する「文書内推論」モジュールを組み込んだフレームワークである。Search-o1は推論プロセスに自律的な検索ワークフローを統合し、LRMが不確かな知識点に遭遇した際に外部知識を動的に取得できるようにする。さらに、検索される文書は冗長になりがちなため、別途設計した「文書内推論」モジュールで情報を深く分析した上で推論連鎖に注入し、ノイズを最小限に抑えつつ一貫した推論の流れを維持する。科学・数学・コーディングにおける複雑な推論タスクおよび6つのオープンドメインQAベンチマークでの大規模実験により、Search-o1の優れた性能が実証された。本手法は複雑な推論タスクにおけるLRMの信頼性と実用性を高め、より信頼性の高い汎用性のある知的システムへの道を開くものである。コードはhttps://github.com/sunnynexus/Search-o1 で公開されている。

English

Large reasoning models (LRMs) like OpenAI-o1 have demonstrated impressive long stepwise reasoning capabilities through large-scale reinforcement learning. However, their extended reasoning processes often suffer from knowledge insufficiency, leading to frequent uncertainties and potential errors. To address this limitation, we introduce Search-o1, a framework that enhances LRMs with an agentic retrieval-augmented generation (RAG) mechanism and a Reason-in-Documents module for refining retrieved documents. Search-o1 integrates an agentic search workflow into the reasoning process, enabling dynamic retrieval of external knowledge when LRMs encounter uncertain knowledge points. Additionally, due to the verbose nature of retrieved documents, we design a separate Reason-in-Documents module to deeply analyze the retrieved information before injecting it into the reasoning chain, minimizing noise and preserving coherent reasoning flow. Extensive experiments on complex reasoning tasks in science, mathematics, and coding, as well as six open-domain QA benchmarks, demonstrate the strong performance of Search-o1. This approach enhances the trustworthiness and applicability of LRMs in complex reasoning tasks, paving the way for more reliable and versatile intelligent systems. The code is available at https://github.com/sunnynexus/Search-o1.