MindSearch: Emulare le Menti Umane Stimola una Ricerca AI Profonda

MindSearch: Mimicking Human Minds Elicits Deep AI Searcher

July 29, 2024

Autori: Zehui Chen, Kuikun Liu, Qiuchen Wang, Jiangning Liu, Wenwei Zhang, Kai Chen, Feng Zhao

cs.AI

Abstract

La ricerca e l'integrazione di informazioni è un compito cognitivo complesso che richiede un enorme dispendio di tempo e sforzo. Ispirati dai notevoli progressi dei Modelli Linguistici di Grande Dimensione (LLM), recenti lavori tentano di risolvere questo compito combinando LLM e motori di ricerca. Tuttavia, questi metodi ottengono ancora prestazioni insoddisfacenti a causa di tre sfide: (1) richieste complesse spesso non possono essere recuperate in modo accurato e completo dal motore di ricerca in una sola volta, (2) le informazioni corrispondenti da integrare sono distribuite su più pagine web insieme a un rumore massiccio, e (3) un gran numero di pagine web con contenuti lunghi può superare rapidamente la lunghezza massima del contesto degli LLM. Ispirati dal processo cognitivo umano quando si affrontano questi problemi, introduciamo MindSearch per imitare la mente umana nella ricerca e integrazione di informazioni sul web, che può essere istanziato da un semplice ma efficace framework multi-agente basato su LLM. Il WebPlanner modella la mente umana nella ricerca di informazioni in più fasi come un processo di costruzione dinamica di un grafo: scompone la query dell'utente in sotto-domande atomiche come nodi del grafo e estende progressivamente il grafo in base ai risultati della ricerca di WebSearcher. Assegnato a ciascuna sotto-domanda, WebSearcher esegue una ricerca gerarchica di informazioni con i motori di ricerca e raccoglie informazioni preziose per WebPlanner. Il design multi-agente di MindSearch consente all'intero framework di cercare e integrare informazioni in parallelo da un numero maggiore di pagine web (ad esempio, più di 300) in 3 minuti, che equivalgono a 3 ore di sforzo umano. MindSearch dimostra un miglioramento significativo nella qualità delle risposte in termini di profondità e ampiezza, sia su problemi di QA a insieme chiuso che aperto. Inoltre, le risposte di MindSearch basate su InternLM2.5-7B sono preferite dagli utenti rispetto alle applicazioni ChatGPT-Web e Perplexity.ai, il che implica che MindSearch può già offrire una soluzione competitiva rispetto ai motori di ricerca AI proprietari.

English

Information seeking and integration is a complex cognitive task that consumes enormous time and effort. Inspired by the remarkable progress of Large Language Models, recent works attempt to solve this task by combining LLMs and search engines. However, these methods still obtain unsatisfying performance due to three challenges: (1) complex requests often cannot be accurately and completely retrieved by the search engine once (2) corresponding information to be integrated is spread over multiple web pages along with massive noise, and (3) a large number of web pages with long contents may quickly exceed the maximum context length of LLMs. Inspired by the cognitive process when humans solve these problems, we introduce MindSearch to mimic the human minds in web information seeking and integration, which can be instantiated by a simple yet effective LLM-based multi-agent framework. The WebPlanner models the human mind of multi-step information seeking as a dynamic graph construction process: it decomposes the user query into atomic sub-questions as nodes in the graph and progressively extends the graph based on the search result from WebSearcher. Tasked with each sub-question, WebSearcher performs hierarchical information retrieval with search engines and collects valuable information for WebPlanner. The multi-agent design of MindSearch enables the whole framework to seek and integrate information parallelly from larger-scale (e.g., more than 300) web pages in 3 minutes, which is worth 3 hours of human effort. MindSearch demonstrates significant improvement in the response quality in terms of depth and breadth, on both close-set and open-set QA problems. Besides, responses from MindSearch based on InternLM2.5-7B are preferable by humans to ChatGPT-Web and Perplexity.ai applications, which implies that MindSearch can already deliver a competitive solution to the proprietary AI search engine.