PaperSearchQA: Apprendimento della Ricerca e Ragionamento su Articoli Scientifici con RLVR
PaperSearchQA: Learning to Search and Reason over Scientific Papers with RLVR
January 26, 2026
Autori: James Burgess, Jan N. Hansen, Duo Peng, Yuhui Zhang, Alejandro Lozano, Min Woo Sun, Emma Lundberg, Serena Yeung-Levy
cs.AI
Abstract
Gli agenti di ricerca sono modelli linguistici che ragionano ed esplorano basi di conoscenza (o il web) per rispondere a domande; i metodi recenti supervisionano solo l'accuratezza della risposta finale utilizzando l'apprendimento per rinforzo con ricompense verificabili (RLVR). La maggior parte degli agenti di ricerca RLVR affronta QA di dominio generale, il che ne limita la rilevanza per i sistemi di IA tecnica in ambito scientifico, ingegneristico e medico. In questo lavoro proponiamo di addestrare agenti a cercare e ragionare su articoli scientifici – questo mette alla prova il question-answering tecnico, è direttamente rilevante per scienziati reali e le capacità saranno cruciali per i futuri sistemi di IA Scienziato. Nello specifico, rilasciamo un corpus di ricerca di 16 milioni di abstract di articoli biomedici e costruiamo un dataset di QA fattuale chiamato PaperSearchQA con 60.000 campioni cui è possibile rispondere dal corpus, insieme a benchmark. Addestriamo agenti di ricerca in questo ambiente per superare i baseline di retrieval non-RL; effettuiamo inoltre un'ulteriore analisi quantitativa e osserviamo comportamenti interessanti degli agenti come pianificazione, ragionamento e auto-verifica. Il nostro corpus, dataset e benchmark sono utilizzabili con il popolare codebase Search-R1 per l'addestramento RLVR e rilasciati su https://huggingface.co/collections/jmhb/papersearchqa. Infine, i nostri metodi di creazione dei dati sono scalabili e facilmente estendibili ad altri domini scientifici.
English
Search agents are language models (LMs) that reason and search knowledge bases (or the web) to answer questions; recent methods supervise only the final answer accuracy using reinforcement learning with verifiable rewards (RLVR). Most RLVR search agents tackle general-domain QA, which limits their relevance to technical AI systems in science, engineering, and medicine. In this work we propose training agents to search and reason over scientific papers -- this tests technical question-answering, it is directly relevant to real scientists, and the capabilities will be crucial to future AI Scientist systems. Concretely, we release a search corpus of 16 million biomedical paper abstracts and construct a challenging factoid QA dataset called PaperSearchQA with 60k samples answerable from the corpus, along with benchmarks. We train search agents in this environment to outperform non-RL retrieval baselines; we also perform further quantitative analysis and observe interesting agent behaviors like planning, reasoning, and self-verification. Our corpus, datasets, and benchmarks are usable with the popular Search-R1 codebase for RLVR training and released on https://huggingface.co/collections/jmhb/papersearchqa. Finally, our data creation methods are scalable and easily extendable to other scientific domains.