MindSearch: 人間の思考を模倣する深層AI検索システム

MindSearch: Mimicking Human Minds Elicits Deep AI Searcher

July 29, 2024

著者: Zehui Chen, Kuikun Liu, Qiuchen Wang, Jiangning Liu, Wenwei Zhang, Kai Chen, Feng Zhao

cs.AI

要旨

情報探索と統合は、膨大な時間と労力を要する複雑な認知タスクです。大規模言語モデル（LLM）の目覚ましい進歩に触発され、最近の研究ではLLMと検索エンジンを組み合わせてこのタスクを解決しようと試みています。しかし、これらの手法は依然として満足のいく性能を達成できていません。その理由は3つの課題にあります：（1）複雑なリクエストは、しばしば検索エンジンによって正確かつ完全に検索されないこと、（2）統合すべき対応する情報が複数のウェブページに分散しており、大量のノイズが含まれていること、（3）長い内容を持つ多数のウェブページがLLMの最大コンテキスト長をすぐに超えてしまうことです。これらの問題を人間が解決する際の認知プロセスに着想を得て、我々はウェブ情報の探索と統合において人間の思考を模倣するMindSearchを提案します。これは、シンプルでありながら効果的なLLMベースのマルチエージェントフレームワークとして具現化されます。WebPlannerは、多段階の情報探索を人間の思考としてモデル化し、それを動的なグラフ構築プロセスとして表現します。ユーザークエリをグラフのノードとしての原子サブ質問に分解し、WebSearcherからの検索結果に基づいてグラフを段階的に拡張します。各サブ質問を担当するWebSearcherは、検索エンジンを用いた階層的な情報検索を実行し、WebPlannerにとって価値ある情報を収集します。MindSearchのマルチエージェント設計により、フレームワーク全体が大規模な（例えば300以上）ウェブページから並列的に情報を探索・統合することが可能となり、3分間で人間の3時間分の労力を節約できます。MindSearchは、閉じたQA問題と開いたQA問題の両方において、深さと広さの観点で応答品質の大幅な向上を示しています。さらに、InternLM2.5-7Bに基づくMindSearchの応答は、ChatGPT-WebやPerplexity.aiアプリケーションよりも人間に好まれることが示されており、MindSearchが既にプロプライエタリなAI検索エンジンに対して競争力のあるソリューションを提供できることを示唆しています。

English

Information seeking and integration is a complex cognitive task that consumes enormous time and effort. Inspired by the remarkable progress of Large Language Models, recent works attempt to solve this task by combining LLMs and search engines. However, these methods still obtain unsatisfying performance due to three challenges: (1) complex requests often cannot be accurately and completely retrieved by the search engine once (2) corresponding information to be integrated is spread over multiple web pages along with massive noise, and (3) a large number of web pages with long contents may quickly exceed the maximum context length of LLMs. Inspired by the cognitive process when humans solve these problems, we introduce MindSearch to mimic the human minds in web information seeking and integration, which can be instantiated by a simple yet effective LLM-based multi-agent framework. The WebPlanner models the human mind of multi-step information seeking as a dynamic graph construction process: it decomposes the user query into atomic sub-questions as nodes in the graph and progressively extends the graph based on the search result from WebSearcher. Tasked with each sub-question, WebSearcher performs hierarchical information retrieval with search engines and collects valuable information for WebPlanner. The multi-agent design of MindSearch enables the whole framework to seek and integrate information parallelly from larger-scale (e.g., more than 300) web pages in 3 minutes, which is worth 3 hours of human effort. MindSearch demonstrates significant improvement in the response quality in terms of depth and breadth, on both close-set and open-set QA problems. Besides, responses from MindSearch based on InternLM2.5-7B are preferable by humans to ChatGPT-Web and Perplexity.ai applications, which implies that MindSearch can already deliver a competitive solution to the proprietary AI search engine.