包括的な学術論文検索のためのLLMエージェント：PaSa

PaSa: An LLM Agent for Comprehensive Academic Paper Search

January 17, 2025

著者: Yichen He, Guanhua Huang, Peiyuan Feng, Yuan Lin, Yuchen Zhang, Hang Li, Weinan E

cs.AI

要旨

私たちは、大規模な言語モデルによって強化された高度な論文検索エージェントPaSaを紹介します。PaSaは、検索ツールの起動、論文の読み込み、関連参照の選択など、一連の決定を自律的に行い、複雑な学術的クエリに対して包括的かつ正確な結果を得ることができます。私たちは、合成データセットAutoScholarQueryを用いてPaSaを強化学習によって最適化しました。このデータセットには、トップティアのAI学会出版物から収集された35,000件の細かく粒状な学術クエリと対応する論文が含まれています。さらに、より現実的なシナリオでPaSaのパフォーマンスを評価するために、実世界の学術クエリを収集したベンチマークであるRealScholarQueryを開発しました。合成データにトレーニングされているにもかかわらず、PaSaは、Google、Google Scholar、Google with GPT-4（言い換えクエリ用）、chatGPT（検索可能なGPT-4o）、GPT-o1、およびPaSa-GPT-4o（GPT-4oをプロンプトして実装されたPaSa）を含む既存のベースラインを大幅に上回ります。特に、PaSa-7Bは、最高のGoogleベースラインであるGoogle with GPT-4oをrecall@20で37.78％、recall@50で39.90％上回ります。また、recallでPaSa-GPT-4oを30.36％、precisionで4.25％上回ります。モデル、データセット、コードは、https://github.com/bytedance/pasa で入手可能です。

English

We introduce PaSa, an advanced Paper Search agent powered by large language models. PaSa can autonomously make a series of decisions, including invoking search tools, reading papers, and selecting relevant references, to ultimately obtain comprehensive and accurate results for complex scholarly queries. We optimize PaSa using reinforcement learning with a synthetic dataset, AutoScholarQuery, which includes 35k fine-grained academic queries and corresponding papers sourced from top-tier AI conference publications. Additionally, we develop RealScholarQuery, a benchmark collecting real-world academic queries to assess PaSa performance in more realistic scenarios. Despite being trained on synthetic data, PaSa significantly outperforms existing baselines on RealScholarQuery, including Google, Google Scholar, Google with GPT-4 for paraphrased queries, chatGPT (search-enabled GPT-4o), GPT-o1, and PaSa-GPT-4o (PaSa implemented by prompting GPT-4o). Notably, PaSa-7B surpasses the best Google-based baseline, Google with GPT-4o, by 37.78% in recall@20 and 39.90% in recall@50. It also exceeds PaSa-GPT-4o by 30.36% in recall and 4.25% in precision. Model, datasets, and code are available at https://github.com/bytedance/pasa.