PaSa: Un agente LLM per la ricerca esaustiva di articoli accademici

PaSa: An LLM Agent for Comprehensive Academic Paper Search

January 17, 2025

Autori: Yichen He, Guanhua Huang, Peiyuan Feng, Yuan Lin, Yuchen Zhang, Hang Li, Weinan E

cs.AI

Abstract

Presentiamo PaSa, un avanzato agente di ricerca di articoli alimentato da grandi modelli linguistici. PaSa può autonomamente prendere una serie di decisioni, tra cui invocare strumenti di ricerca, leggere articoli e selezionare riferimenti rilevanti, per ottenere infine risultati completi e accurati per complesse interrogazioni accademiche. Ottimizziamo PaSa utilizzando il reinforcement learning con un dataset sintetico, AutoScholarQuery, che include 35k interrogazioni accademiche dettagliate e relativi articoli provenienti dalle pubblicazioni delle conferenze AI di alto livello. Inoltre, sviluppiamo RealScholarQuery, un benchmark che raccoglie interrogazioni accademiche reali per valutare le prestazioni di PaSa in scenari più realistici. Nonostante sia stato addestrato su dati sintetici, PaSa supera significativamente i baselines esistenti su RealScholarQuery, inclusi Google, Google Scholar, Google con GPT-4 per interrogazioni parafrasate, chatGPT (GPT-4o abilitato alla ricerca), GPT-o1 e PaSa-GPT-4o (PaSa implementato tramite GPT-4o sollecitato). In particolare, PaSa-7B supera il miglior baseline basato su Google, Google con GPT-4o, del 37,78% in recall@20 e del 39,90% in recall@50. Supera anche PaSa-GPT-4o del 30,36% in recall e del 4,25% in precisione. Il modello, i dataset e il codice sono disponibili su https://github.com/bytedance/pasa.

English

We introduce PaSa, an advanced Paper Search agent powered by large language models. PaSa can autonomously make a series of decisions, including invoking search tools, reading papers, and selecting relevant references, to ultimately obtain comprehensive and accurate results for complex scholarly queries. We optimize PaSa using reinforcement learning with a synthetic dataset, AutoScholarQuery, which includes 35k fine-grained academic queries and corresponding papers sourced from top-tier AI conference publications. Additionally, we develop RealScholarQuery, a benchmark collecting real-world academic queries to assess PaSa performance in more realistic scenarios. Despite being trained on synthetic data, PaSa significantly outperforms existing baselines on RealScholarQuery, including Google, Google Scholar, Google with GPT-4 for paraphrased queries, chatGPT (search-enabled GPT-4o), GPT-o1, and PaSa-GPT-4o (PaSa implemented by prompting GPT-4o). Notably, PaSa-7B surpasses the best Google-based baseline, Google with GPT-4o, by 37.78% in recall@20 and 39.90% in recall@50. It also exceeds PaSa-GPT-4o by 30.36% in recall and 4.25% in precision. Model, datasets, and code are available at https://github.com/bytedance/pasa.