Поиск-o1: Агентный поиск с улучшением крупных моделей рассуждений

Search-o1: Agentic Search-Enhanced Large Reasoning Models

January 9, 2025

Авторы: Xiaoxi Li, Guanting Dong, Jiajie Jin, Yuyao Zhang, Yujia Zhou, Yutao Zhu, Peitian Zhang, Zhicheng Dou

cs.AI

Аннотация

Большие модели рассуждений (LRM), такие как OpenAI-o1, продемонстрировали впечатляющие возможности долгосрочного логического рассуждения с помощью обучения с подкреплением на большом масштабе. Однако их продолжительные процессы рассуждений часто страдают от недостаточности знаний, что приводит к частым неопределенностям и потенциальным ошибкам. Для преодоления этого ограничения мы представляем Search-o1, фреймворк, который улучшает LRM с механизмом агентного поиска с увеличением генерации (RAG) и модулем Причина-в-Документах для уточнения извлеченных документов. Search-o1 интегрирует агентный поисковый рабочий процесс в процесс рассуждения, обеспечивая динамическое извлечение внешних знаний, когда LRM сталкивается с неопределенными точками знаний. Кроме того, из-за многословной природы извлеченных документов мы разрабатываем отдельный модуль Причина-в-Документах для глубокого анализа извлеченной информации перед ее внедрением в цепочку рассуждений, минимизируя шум и сохраняя последовательность логического рассуждения. Обширные эксперименты на сложных задачах рассуждения в области науки, математики и программирования, а также на шести бенчмарках открытых вопросов и ответов, демонстрируют высокую производительность Search-o1. Этот подход улучшает надежность и применимость LRM в сложных задачах рассуждения, открывая путь к более надежным и универсальным интеллектуальным системам. Код доступен по адресу https://github.com/sunnynexus/Search-o1.

English

Large reasoning models (LRMs) like OpenAI-o1 have demonstrated impressive long stepwise reasoning capabilities through large-scale reinforcement learning. However, their extended reasoning processes often suffer from knowledge insufficiency, leading to frequent uncertainties and potential errors. To address this limitation, we introduce Search-o1, a framework that enhances LRMs with an agentic retrieval-augmented generation (RAG) mechanism and a Reason-in-Documents module for refining retrieved documents. Search-o1 integrates an agentic search workflow into the reasoning process, enabling dynamic retrieval of external knowledge when LRMs encounter uncertain knowledge points. Additionally, due to the verbose nature of retrieved documents, we design a separate Reason-in-Documents module to deeply analyze the retrieved information before injecting it into the reasoning chain, minimizing noise and preserving coherent reasoning flow. Extensive experiments on complex reasoning tasks in science, mathematics, and coding, as well as six open-domain QA benchmarks, demonstrate the strong performance of Search-o1. This approach enhances the trustworthiness and applicability of LRMs in complex reasoning tasks, paving the way for more reliable and versatile intelligent systems. The code is available at https://github.com/sunnynexus/Search-o1.