MindSearch: Das Nachahmen menschlicher Denkweisen ruft einen tiefgründigen KI-Sucher hervor.

MindSearch: Mimicking Human Minds Elicits Deep AI Searcher

July 29, 2024

Autoren: Zehui Chen, Kuikun Liu, Qiuchen Wang, Jiangning Liu, Wenwei Zhang, Kai Chen, Feng Zhao

cs.AI

Zusammenfassung

Die Suche nach Informationen und deren Integration ist eine komplexe kognitive Aufgabe, die enorme Zeit und Mühe in Anspruch nimmt. Inspiriert von den bemerkenswerten Fortschritten großer Sprachmodelle versuchen aktuelle Arbeiten, diese Aufgabe zu lösen, indem sie LLMs und Suchmaschinen kombinieren. Allerdings erzielen diese Methoden noch immer unbefriedigende Leistungen aufgrund von drei Herausforderungen: (1) komplexe Anfragen können oft nicht genau und vollständig von der Suchmaschine abgerufen werden, (2) die entsprechenden Informationen zur Integration sind über mehrere Webseiten verteilt, zusammen mit massivem Rauschen, und (3) eine große Anzahl von Webseiten mit langen Inhalten kann schnell die maximale Kontextlänge von LLMs überschreiten. Inspiriert vom kognitiven Prozess, wenn Menschen diese Probleme lösen, stellen wir MindSearch vor, um die menschlichen Denkweisen bei der Suche und Integration von Webinformationen nachzuahmen, was durch ein einfaches und dennoch effektives LLM-basiertes Multi-Agenten-Framework instantiiert werden kann. Der WebPlanner modelliert den menschlichen Denkprozess der mehrstufigen Informationssuche als dynamischen Graphenkonstruktionsprozess: Er zerlegt die Benutzeranfrage in atomare Teilfragen als Knoten im Graphen und erweitert den Graphen schrittweise basierend auf dem Suchergebnis des WebSearcher. Mit jeder Teilfrage beauftragt, führt der WebSearcher hierarchische Informationsabrufe mit Suchmaschinen durch und sammelt wertvolle Informationen für den WebPlanner. Das Multi-Agenten-Design von MindSearch ermöglicht es dem gesamten Framework, Informationen parallel von einer größeren Anzahl von Webseiten (z. B. mehr als 300) in 3 Minuten zu suchen und zu integrieren, was 3 Stunden menschlicher Arbeit entspricht. MindSearch zeigt eine signifikante Verbesserung in der Antwortqualität in Bezug auf Tiefe und Breite, sowohl bei geschlossenen als auch bei offenen Frage-Antwort-Problemen. Darüber hinaus bevorzugen Menschen die Antworten von MindSearch basierend auf InternLM2.5-7B gegenüber ChatGPT-Web und Perplexity.ai-Anwendungen, was darauf hindeutet, dass MindSearch bereits eine wettbewerbsfähige Lösung für die proprietäre KI-Suchmaschine liefern kann.

English

Information seeking and integration is a complex cognitive task that consumes enormous time and effort. Inspired by the remarkable progress of Large Language Models, recent works attempt to solve this task by combining LLMs and search engines. However, these methods still obtain unsatisfying performance due to three challenges: (1) complex requests often cannot be accurately and completely retrieved by the search engine once (2) corresponding information to be integrated is spread over multiple web pages along with massive noise, and (3) a large number of web pages with long contents may quickly exceed the maximum context length of LLMs. Inspired by the cognitive process when humans solve these problems, we introduce MindSearch to mimic the human minds in web information seeking and integration, which can be instantiated by a simple yet effective LLM-based multi-agent framework. The WebPlanner models the human mind of multi-step information seeking as a dynamic graph construction process: it decomposes the user query into atomic sub-questions as nodes in the graph and progressively extends the graph based on the search result from WebSearcher. Tasked with each sub-question, WebSearcher performs hierarchical information retrieval with search engines and collects valuable information for WebPlanner. The multi-agent design of MindSearch enables the whole framework to seek and integrate information parallelly from larger-scale (e.g., more than 300) web pages in 3 minutes, which is worth 3 hours of human effort. MindSearch demonstrates significant improvement in the response quality in terms of depth and breadth, on both close-set and open-set QA problems. Besides, responses from MindSearch based on InternLM2.5-7B are preferable by humans to ChatGPT-Web and Perplexity.ai applications, which implies that MindSearch can already deliver a competitive solution to the proprietary AI search engine.