PaSa : Un agent LLM pour une recherche exhaustive d'articles académiques

PaSa: An LLM Agent for Comprehensive Academic Paper Search

January 17, 2025

Auteurs: Yichen He, Guanhua Huang, Peiyuan Feng, Yuan Lin, Yuchen Zhang, Hang Li, Weinan E

cs.AI

Résumé

Nous présentons PaSa, un agent de recherche avancé alimenté par de grands modèles de langage. PaSa peut prendre autonomement une série de décisions, y compris invoquer des outils de recherche, lire des articles et sélectionner des références pertinentes, pour finalement obtenir des résultats complets et précis pour des requêtes académiques complexes. Nous optimisons PaSa en utilisant l'apprentissage par renforcement avec un ensemble de données synthétique, AutoScholarQuery, qui comprend 35 000 requêtes académiques détaillées et les articles correspondants provenant de publications de conférences en IA de premier plan. De plus, nous développons RealScholarQuery, une référence regroupant des requêtes académiques du monde réel pour évaluer les performances de PaSa dans des scénarios plus réalistes. Malgré son entraînement sur des données synthétiques, PaSa surpasse significativement les baselines existantes sur RealScholarQuery, y compris Google, Google Scholar, Google avec GPT-4 pour les requêtes paraphrasées, chatGPT (GPT-4o activé pour la recherche), GPT-4o et PaSa-GPT-4o (PaSa implémenté en interagissant avec GPT-4o). Notamment, PaSa-7B dépasse la meilleure baseline basée sur Google, Google avec GPT-4o, de 37,78 % en rappel@20 et de 39,90 % en rappel@50. Il dépasse également PaSa-GPT-4o de 30,36 % en rappel et de 4,25 % en précision. Le modèle, les ensembles de données et le code sont disponibles sur https://github.com/bytedance/pasa.

English

We introduce PaSa, an advanced Paper Search agent powered by large language models. PaSa can autonomously make a series of decisions, including invoking search tools, reading papers, and selecting relevant references, to ultimately obtain comprehensive and accurate results for complex scholarly queries. We optimize PaSa using reinforcement learning with a synthetic dataset, AutoScholarQuery, which includes 35k fine-grained academic queries and corresponding papers sourced from top-tier AI conference publications. Additionally, we develop RealScholarQuery, a benchmark collecting real-world academic queries to assess PaSa performance in more realistic scenarios. Despite being trained on synthetic data, PaSa significantly outperforms existing baselines on RealScholarQuery, including Google, Google Scholar, Google with GPT-4 for paraphrased queries, chatGPT (search-enabled GPT-4o), GPT-o1, and PaSa-GPT-4o (PaSa implemented by prompting GPT-4o). Notably, PaSa-7B surpasses the best Google-based baseline, Google with GPT-4o, by 37.78% in recall@20 and 39.90% in recall@50. It also exceeds PaSa-GPT-4o by 30.36% in recall and 4.25% in precision. Model, datasets, and code are available at https://github.com/bytedance/pasa.