PaSa: Un Agente LLM para la Búsqueda Integral de Artículos Académicos

PaSa: An LLM Agent for Comprehensive Academic Paper Search

January 17, 2025

Autores: Yichen He, Guanhua Huang, Peiyuan Feng, Yuan Lin, Yuchen Zhang, Hang Li, Weinan E

cs.AI

Resumen

Presentamos PaSa, un avanzado agente de Búsqueda de Artículos impulsado por grandes modelos de lenguaje. PaSa puede tomar decisiones de forma autónoma, como invocar herramientas de búsqueda, leer artículos y seleccionar referencias relevantes, para finalmente obtener resultados completos y precisos para consultas académicas complejas. Optimizamos PaSa utilizando aprendizaje por refuerzo con un conjunto de datos sintético, AutoScholarQuery, que incluye 35k consultas académicas detalladas y los artículos correspondientes obtenidos de publicaciones de conferencias de IA de primer nivel. Además, desarrollamos RealScholarQuery, un conjunto de datos de referencia que recopila consultas académicas del mundo real para evaluar el rendimiento de PaSa en escenarios más realistas. A pesar de estar entrenado con datos sintéticos, PaSa supera significativamente a los baselines existentes en RealScholarQuery, incluidos Google, Google Scholar, Google con GPT-4 para consultas parafraseadas, chatGPT (GPT-4o habilitado para búsqueda), GPT-o1 y PaSa-GPT-4o (PaSa implementado mediante GPT-4o como prompt). Destacadamente, PaSa-7B supera al mejor baseline basado en Google, Google con GPT-4o, en un 37.78% en recall@20 y un 39.90% en recall@50. También supera a PaSa-GPT-4o en un 30.36% en recall y un 4.25% en precisión. El modelo, los conjuntos de datos y el código están disponibles en https://github.com/bytedance/pasa.

English

We introduce PaSa, an advanced Paper Search agent powered by large language models. PaSa can autonomously make a series of decisions, including invoking search tools, reading papers, and selecting relevant references, to ultimately obtain comprehensive and accurate results for complex scholarly queries. We optimize PaSa using reinforcement learning with a synthetic dataset, AutoScholarQuery, which includes 35k fine-grained academic queries and corresponding papers sourced from top-tier AI conference publications. Additionally, we develop RealScholarQuery, a benchmark collecting real-world academic queries to assess PaSa performance in more realistic scenarios. Despite being trained on synthetic data, PaSa significantly outperforms existing baselines on RealScholarQuery, including Google, Google Scholar, Google with GPT-4 for paraphrased queries, chatGPT (search-enabled GPT-4o), GPT-o1, and PaSa-GPT-4o (PaSa implemented by prompting GPT-4o). Notably, PaSa-7B surpasses the best Google-based baseline, Google with GPT-4o, by 37.78% in recall@20 and 39.90% in recall@50. It also exceeds PaSa-GPT-4o by 30.36% in recall and 4.25% in precision. Model, datasets, and code are available at https://github.com/bytedance/pasa.