MindSearch: Имитация человеческих умов вызывает глубокий исследовательский поиск искусственного интеллекта.

MindSearch: Mimicking Human Minds Elicits Deep AI Searcher

July 29, 2024

Авторы: Zehui Chen, Kuikun Liu, Qiuchen Wang, Jiangning Liu, Wenwei Zhang, Kai Chen, Feng Zhao

cs.AI

Аннотация

Поиск и интеграция информации - это сложная когнитивная задача, требующая огромного времени и усилий. Вдохновленные замечательным прогрессом в области крупных языковых моделей, недавние работы пытаются решить эту задачу, объединяя LLM и поисковые системы. Однако эти методы до сих пор не обеспечивают удовлетворительную производительность из-за трех проблем: (1) сложные запросы часто не могут быть точно и полностью извлечены поисковой системой сразу, (2) соответствующая информация для интеграции разбросана по нескольким веб-страницам вместе с огромным шумом, и (3) большое количество веб-страниц с длинным содержанием может быстро превысить максимальную длину контекста LLM. Вдохновленные когнитивным процессом, когда люди решают эти проблемы, мы представляем MindSearch для имитации человеческого мышления в поиске и интеграции информации в Интернете, которое может быть реализовано с помощью простой, но эффективной многоагентной структуры на основе LLM. WebPlanner моделирует человеческий процесс многошагового поиска информации как процесс динамического построения графа: он декомпозирует запрос пользователя на атомарные подзапросы как узлы в графе и пошагово расширяет граф на основе результатов поиска от WebSearcher. Задача каждого подзапроса заключается в том, что WebSearcher выполняет иерархическое информационное извлечение с помощью поисковых систем и собирает ценную информацию для WebPlanner. Многоагентное проектирование MindSearch позволяет всей структуре параллельно искать и интегрировать информацию с более крупных масштабов (например, более 300) веб-страниц за 3 минуты, что эквивалентно 3 часам человеческого труда. MindSearch демонстрирует значительное улучшение качества ответов в терминах глубины и ширины как на задачах близких, так и открытых вопросно-ответных систем. Кроме того, ответы от MindSearch на основе InternLM2.5-7B предпочтительны людьми по сравнению с приложениями ChatGPT-Web и Perplexity.ai, что подразумевает, что MindSearch уже может предложить конкурентоспособное решение для собственной искусственной поисковой системы.

English

Information seeking and integration is a complex cognitive task that consumes enormous time and effort. Inspired by the remarkable progress of Large Language Models, recent works attempt to solve this task by combining LLMs and search engines. However, these methods still obtain unsatisfying performance due to three challenges: (1) complex requests often cannot be accurately and completely retrieved by the search engine once (2) corresponding information to be integrated is spread over multiple web pages along with massive noise, and (3) a large number of web pages with long contents may quickly exceed the maximum context length of LLMs. Inspired by the cognitive process when humans solve these problems, we introduce MindSearch to mimic the human minds in web information seeking and integration, which can be instantiated by a simple yet effective LLM-based multi-agent framework. The WebPlanner models the human mind of multi-step information seeking as a dynamic graph construction process: it decomposes the user query into atomic sub-questions as nodes in the graph and progressively extends the graph based on the search result from WebSearcher. Tasked with each sub-question, WebSearcher performs hierarchical information retrieval with search engines and collects valuable information for WebPlanner. The multi-agent design of MindSearch enables the whole framework to seek and integrate information parallelly from larger-scale (e.g., more than 300) web pages in 3 minutes, which is worth 3 hours of human effort. MindSearch demonstrates significant improvement in the response quality in terms of depth and breadth, on both close-set and open-set QA problems. Besides, responses from MindSearch based on InternLM2.5-7B are preferable by humans to ChatGPT-Web and Perplexity.ai applications, which implies that MindSearch can already deliver a competitive solution to the proprietary AI search engine.