PaSa: Um Agente LLM para Busca Abrangente de Artigos Acadêmicos

PaSa: An LLM Agent for Comprehensive Academic Paper Search

January 17, 2025

Autores: Yichen He, Guanhua Huang, Peiyuan Feng, Yuan Lin, Yuchen Zhang, Hang Li, Weinan E

cs.AI

Resumo

Apresentamos o PaSa, um agente avançado de Busca de Artigos alimentado por grandes modelos de linguagem. O PaSa pode tomar autonomamente uma série de decisões, incluindo invocar ferramentas de busca, ler artigos e selecionar referências relevantes, para finalmente obter resultados abrangentes e precisos para consultas acadêmicas complexas. Otimizamos o PaSa usando aprendizado por reforço com um conjunto de dados sintético, AutoScholarQuery, que inclui 35 mil consultas acadêmicas detalhadas e os artigos correspondentes provenientes de publicações de conferências de IA de alto nível. Além disso, desenvolvemos o RealScholarQuery, um benchmark que coleta consultas acadêmicas do mundo real para avaliar o desempenho do PaSa em cenários mais realistas. Apesar de ter sido treinado em dados sintéticos, o PaSa supera significativamente as bases de comparação existentes no RealScholarQuery, incluindo Google, Google Scholar, Google com GPT-4 para consultas parafraseadas, chatGPT (GPT-4o habilitado para busca), GPT-o1 e PaSa-GPT-4o (PaSa implementado através de prompt do GPT-4o). Notavelmente, o PaSa-7B supera a melhor base do Google, Google com GPT-4o, em 37,78% no recall@20 e 39,90% no recall@50. Também supera o PaSa-GPT-4o em 30,36% no recall e 4,25% na precisão. O modelo, conjuntos de dados e código estão disponíveis em https://github.com/bytedance/pasa.

English

We introduce PaSa, an advanced Paper Search agent powered by large language models. PaSa can autonomously make a series of decisions, including invoking search tools, reading papers, and selecting relevant references, to ultimately obtain comprehensive and accurate results for complex scholarly queries. We optimize PaSa using reinforcement learning with a synthetic dataset, AutoScholarQuery, which includes 35k fine-grained academic queries and corresponding papers sourced from top-tier AI conference publications. Additionally, we develop RealScholarQuery, a benchmark collecting real-world academic queries to assess PaSa performance in more realistic scenarios. Despite being trained on synthetic data, PaSa significantly outperforms existing baselines on RealScholarQuery, including Google, Google Scholar, Google with GPT-4 for paraphrased queries, chatGPT (search-enabled GPT-4o), GPT-o1, and PaSa-GPT-4o (PaSa implemented by prompting GPT-4o). Notably, PaSa-7B surpasses the best Google-based baseline, Google with GPT-4o, by 37.78% in recall@20 and 39.90% in recall@50. It also exceeds PaSa-GPT-4o by 30.36% in recall and 4.25% in precision. Model, datasets, and code are available at https://github.com/bytedance/pasa.