PaSa: Агент LLM для комплексного поиска научных статей.

PaSa: An LLM Agent for Comprehensive Academic Paper Search

January 17, 2025

Авторы: Yichen He, Guanhua Huang, Peiyuan Feng, Yuan Lin, Yuchen Zhang, Hang Li, Weinan E

cs.AI

Аннотация

Мы представляем PaSa, передового агента поиска статей, работающего на основе больших языковых моделей. PaSa способен автономно принимать ряд решений, включая вызов инструментов поиска, чтение статей и выбор релевантных ссылок, чтобы в конечном итоге получить всесторонние и точные результаты для сложных научных запросов. Мы оптимизируем PaSa с использованием обучения с подкреплением на синтетическом наборе данных AutoScholarQuery, который включает 35 тыс. тонких академических запросов и соответствующих статей из публикаций конференций по искусственному интеллекту высшего уровня. Кроме того, мы разрабатываем RealScholarQuery, бенчмарк, собирающий реальные академические запросы для оценки производительности PaSa в более реалистичных сценариях. Несмотря на то, что PaSa обучен на синтетических данных, он значительно превосходит существующие базовые уровни на RealScholarQuery, включая Google, Google Scholar, Google с GPT-4 для перефразированных запросов, chatGPT (GPT-4o с возможностью поиска), GPT-o1 и PaSa-GPT-4o (PaSa, реализованный путем подсказки GPT-4o). Заметно, что PaSa-7B превосходит лучший базовый уровень на основе Google, Google с GPT-4o, на 37,78% в recall@20 и 39,90% в recall@50. Он также превосходит PaSa-GPT-4o на 30,36% в recall и 4,25% в precision. Модель, наборы данных и код доступны по ссылке https://github.com/bytedance/pasa.

English

We introduce PaSa, an advanced Paper Search agent powered by large language models. PaSa can autonomously make a series of decisions, including invoking search tools, reading papers, and selecting relevant references, to ultimately obtain comprehensive and accurate results for complex scholarly queries. We optimize PaSa using reinforcement learning with a synthetic dataset, AutoScholarQuery, which includes 35k fine-grained academic queries and corresponding papers sourced from top-tier AI conference publications. Additionally, we develop RealScholarQuery, a benchmark collecting real-world academic queries to assess PaSa performance in more realistic scenarios. Despite being trained on synthetic data, PaSa significantly outperforms existing baselines on RealScholarQuery, including Google, Google Scholar, Google with GPT-4 for paraphrased queries, chatGPT (search-enabled GPT-4o), GPT-o1, and PaSa-GPT-4o (PaSa implemented by prompting GPT-4o). Notably, PaSa-7B surpasses the best Google-based baseline, Google with GPT-4o, by 37.78% in recall@20 and 39.90% in recall@50. It also exceeds PaSa-GPT-4o by 30.36% in recall and 4.25% in precision. Model, datasets, and code are available at https://github.com/bytedance/pasa.