MindSearch: Imitar Mentes Humanas Provoca Profunda Busca de IA

MindSearch: Mimicking Human Minds Elicits Deep AI Searcher

July 29, 2024

Autores: Zehui Chen, Kuikun Liu, Qiuchen Wang, Jiangning Liu, Wenwei Zhang, Kai Chen, Feng Zhao

cs.AI

Resumo

A busca e integração de informações é uma tarefa cognitiva complexa que consome um tempo e esforço enormes. Inspirados pelo notável progresso dos Modelos de Linguagem de Grande Escala, trabalhos recentes tentam resolver essa tarefa combinando LLMs e motores de busca. No entanto, esses métodos ainda obtêm desempenho insatisfatório devido a três desafios: (1) solicitações complexas frequentemente não podem ser recuperadas com precisão e completude pelo motor de busca de uma vez; (2) as informações correspondentes a serem integradas estão espalhadas por várias páginas da web juntamente com um ruído massivo; e (3) um grande número de páginas da web com conteúdos extensos pode rapidamente exceder o comprimento máximo de contexto dos LLMs. Inspirados no processo cognitivo quando os humanos resolvem esses problemas, introduzimos o MindSearch para imitar as mentes humanas na busca e integração de informações da web, que pode ser instanciado por um framework multiagente simples, porém eficaz, baseado em LLM. O WebPlanner modela a mente humana de busca de informações em vários passos como um processo de construção dinâmica de gráfico: ele decompõe a consulta do usuário em subperguntas atômicas como nós no gráfico e estende progressivamente o gráfico com base no resultado da busca do WebSearcher. Encarregado de cada subpergunta, o WebSearcher realiza recuperação hierárquica de informações com motores de busca e coleta informações valiosas para o WebPlanner. O design multiagente do MindSearch permite que todo o framework busque e integre informações em paralelo em uma escala maior (por exemplo, mais de 300) páginas da web em 3 minutos, o que equivale a 3 horas de esforço humano. O MindSearch demonstra uma melhoria significativa na qualidade da resposta em termos de profundidade e amplitude, tanto em problemas de perguntas e respostas de conjunto fechado quanto aberto. Além disso, as respostas do MindSearch baseadas no InternLM2.5-7B são preferíveis pelos humanos em relação às aplicações ChatGPT-Web e Perplexity.ai, o que implica que o MindSearch já pode fornecer uma solução competitiva para o mecanismo de busca de IA proprietário.

English

Information seeking and integration is a complex cognitive task that consumes enormous time and effort. Inspired by the remarkable progress of Large Language Models, recent works attempt to solve this task by combining LLMs and search engines. However, these methods still obtain unsatisfying performance due to three challenges: (1) complex requests often cannot be accurately and completely retrieved by the search engine once (2) corresponding information to be integrated is spread over multiple web pages along with massive noise, and (3) a large number of web pages with long contents may quickly exceed the maximum context length of LLMs. Inspired by the cognitive process when humans solve these problems, we introduce MindSearch to mimic the human minds in web information seeking and integration, which can be instantiated by a simple yet effective LLM-based multi-agent framework. The WebPlanner models the human mind of multi-step information seeking as a dynamic graph construction process: it decomposes the user query into atomic sub-questions as nodes in the graph and progressively extends the graph based on the search result from WebSearcher. Tasked with each sub-question, WebSearcher performs hierarchical information retrieval with search engines and collects valuable information for WebPlanner. The multi-agent design of MindSearch enables the whole framework to seek and integrate information parallelly from larger-scale (e.g., more than 300) web pages in 3 minutes, which is worth 3 hours of human effort. MindSearch demonstrates significant improvement in the response quality in terms of depth and breadth, on both close-set and open-set QA problems. Besides, responses from MindSearch based on InternLM2.5-7B are preferable by humans to ChatGPT-Web and Perplexity.ai applications, which implies that MindSearch can already deliver a competitive solution to the proprietary AI search engine.