MindSearch: Het Nabootsen van Menselijke Denkprocessen Ontlokt Diepgaande AI-Zoekers

MindSearch: Mimicking Human Minds Elicits Deep AI Searcher

July 29, 2024

Auteurs: Zehui Chen, Kuikun Liu, Qiuchen Wang, Jiangning Liu, Wenwei Zhang, Kai Chen, Feng Zhao

cs.AI

Samenvatting

Informatie zoeken en integreren is een complexe cognitieve taak die enorm veel tijd en moeite kost. Geïnspireerd door de opmerkelijke vooruitgang van Large Language Models (LLM's), proberen recente werken deze taak op te lossen door LLM's en zoekmachines te combineren. Deze methoden leveren echter nog steeds onbevredigende prestaties op vanwege drie uitdagingen: (1) complexe verzoeken kunnen vaak niet nauwkeurig en volledig in één keer worden opgehaald door de zoekmachine, (2) de corresponderende informatie die geïntegreerd moet worden, is verspreid over meerdere webpagina's en bevat veel ruis, en (3) een groot aantal webpagina's met lange inhoud kan snel de maximale contextlengte van LLM's overschrijden. Geïnspireerd door het cognitieve proces dat mensen gebruiken om deze problemen op te lossen, introduceren we MindSearch om het menselijk denken na te bootsen bij het zoeken en integreren van webinformatie, wat kan worden geïnstantieerd door een eenvoudig maar effectief LLM-gebaseerd multi-agent framework. De WebPlanner modelleert het menselijk denken van meerstaps informatie zoeken als een dynamisch grafconstructieproces: het deelt de gebruikersvraag op in atomische subvragen als knooppunten in de grafiek en breidt de grafiek geleidelijk uit op basis van het zoekresultaat van de WebSearcher. Met elke subvraag belast, voert de WebSearcher hiërarchische informatie retrieval uit met zoekmachines en verzamelt waardevolle informatie voor de WebPlanner. Het multi-agent ontwerp van MindSearch maakt het mogelijk dat het hele framework parallel informatie zoekt en integreert uit grootschalige (bijvoorbeeld meer dan 300) webpagina's in 3 minuten, wat gelijkstaat aan 3 uur menselijke inspanning. MindSearch toont een significante verbetering in de kwaliteit van de reacties wat betreft diepte en breedte, zowel bij close-set als open-set QA-problemen. Daarnaast worden reacties van MindSearch, gebaseerd op InternLM2.5-7B, door mensen verkozen boven die van ChatGPT-Web en Perplexity.ai applicaties, wat impliceert dat MindSearch al een competitieve oplossing kan bieden voor de propriëtaire AI-zoekmachine.

English

Information seeking and integration is a complex cognitive task that consumes enormous time and effort. Inspired by the remarkable progress of Large Language Models, recent works attempt to solve this task by combining LLMs and search engines. However, these methods still obtain unsatisfying performance due to three challenges: (1) complex requests often cannot be accurately and completely retrieved by the search engine once (2) corresponding information to be integrated is spread over multiple web pages along with massive noise, and (3) a large number of web pages with long contents may quickly exceed the maximum context length of LLMs. Inspired by the cognitive process when humans solve these problems, we introduce MindSearch to mimic the human minds in web information seeking and integration, which can be instantiated by a simple yet effective LLM-based multi-agent framework. The WebPlanner models the human mind of multi-step information seeking as a dynamic graph construction process: it decomposes the user query into atomic sub-questions as nodes in the graph and progressively extends the graph based on the search result from WebSearcher. Tasked with each sub-question, WebSearcher performs hierarchical information retrieval with search engines and collects valuable information for WebPlanner. The multi-agent design of MindSearch enables the whole framework to seek and integrate information parallelly from larger-scale (e.g., more than 300) web pages in 3 minutes, which is worth 3 hours of human effort. MindSearch demonstrates significant improvement in the response quality in terms of depth and breadth, on both close-set and open-set QA problems. Besides, responses from MindSearch based on InternLM2.5-7B are preferable by humans to ChatGPT-Web and Perplexity.ai applications, which implies that MindSearch can already deliver a competitive solution to the proprietary AI search engine.