Zoek-o1: Agentic Zoek-Verbeterde Grote Redeneermodellen

Search-o1: Agentic Search-Enhanced Large Reasoning Models

January 9, 2025

Auteurs: Xiaoxi Li, Guanting Dong, Jiajie Jin, Yuyao Zhang, Yujia Zhou, Yutao Zhu, Peitian Zhang, Zhicheng Dou

cs.AI

Samenvatting

Grote redeneringsmodellen (LRM's) zoals OpenAI-o1 hebben indrukwekkende langdurige stapsgewijze redeneervaardigheden aangetoond via grootschalig versterkend leren. Echter, hun uitgebreide redeneerprocessen lijden vaak aan kennis tekort, wat leidt tot frequente onzekerheden en potentiële fouten. Om deze beperking aan te pakken, introduceren we Search-o1, een raamwerk dat LRM's verbetert met een agentische opzoek-verrijkte generatie (RAG) mechanisme en een Reden-in-Documenten module voor het verfijnen van opgehaalde documenten. Search-o1 integreert een agentische zoekworkflow in het redeneerproces, waardoor dynamische opvraging van externe kennis mogelijk is wanneer LRM's onzekere kennispunten tegenkomen. Daarnaast, vanwege de uitgebreide aard van opgehaalde documenten, ontwerpen we een aparte Reden-in-Documenten module om de opgehaalde informatie grondig te analyseren voordat deze in de redeneerketen wordt ingebracht, ruis te minimaliseren en een coherente redeneerstroom te behouden. Uitgebreide experimenten op complexe redeneertaken in wetenschap, wiskunde en codering, evenals zes open-domein QA-benchmarks, tonen de sterke prestaties van Search-o1 aan. Deze aanpak verbetert de betrouwbaarheid en toepasbaarheid van LRM's in complexe redeneertaken, waardoor de weg wordt vrijgemaakt voor meer betrouwbare en veelzijdige intelligente systemen. De code is beschikbaar op https://github.com/sunnynexus/Search-o1.

English

Large reasoning models (LRMs) like OpenAI-o1 have demonstrated impressive long stepwise reasoning capabilities through large-scale reinforcement learning. However, their extended reasoning processes often suffer from knowledge insufficiency, leading to frequent uncertainties and potential errors. To address this limitation, we introduce Search-o1, a framework that enhances LRMs with an agentic retrieval-augmented generation (RAG) mechanism and a Reason-in-Documents module for refining retrieved documents. Search-o1 integrates an agentic search workflow into the reasoning process, enabling dynamic retrieval of external knowledge when LRMs encounter uncertain knowledge points. Additionally, due to the verbose nature of retrieved documents, we design a separate Reason-in-Documents module to deeply analyze the retrieved information before injecting it into the reasoning chain, minimizing noise and preserving coherent reasoning flow. Extensive experiments on complex reasoning tasks in science, mathematics, and coding, as well as six open-domain QA benchmarks, demonstrate the strong performance of Search-o1. This approach enhances the trustworthiness and applicability of LRMs in complex reasoning tasks, paving the way for more reliable and versatile intelligent systems. The code is available at https://github.com/sunnynexus/Search-o1.