Kunnen LLM's kritieke beperkingen in wetenschappelijk onderzoek identificeren? Een systematische evaluatie van AI-onderzoeksartikelen

Can LLMs Identify Critical Limitations within Scientific Research? A Systematic Evaluation on AI Research Papers

July 3, 2025

Auteurs: Zhijian Xu, Yilun Zhao, Manasi Patwardhan, Lovekesh Vig, Arman Cohan

cs.AI

Samenvatting

Peer review is essentieel voor wetenschappelijk onderzoek, maar de groeiende hoeveelheid publicaties heeft de uitdagingen van dit expertise-intensieve proces versterkt. Hoewel LLM's (Large Language Models) veelbelovend zijn in diverse wetenschappelijke taken, blijft hun potentieel om bij te dragen aan peer review, met name bij het identificeren van beperkingen in papers, onderbelicht. We presenteren eerst een uitgebreide taxonomie van beperkingstypen in wetenschappelijk onderzoek, met een focus op AI. Geleid door deze taxonomie introduceren we voor het bestuderen van beperkingen LimitGen, de eerste uitgebreide benchmark voor het evalueren van de capaciteit van LLM's om vroegtijdige feedback te ondersteunen en menselijke peer review aan te vullen. Onze benchmark bestaat uit twee subsets: LimitGen-Syn, een synthetische dataset zorgvuldig gecreëerd door gecontroleerde verstoringen van hoogwaardige papers, en LimitGen-Human, een verzameling van echt door mensen geschreven beperkingen. Om het vermogen van LLM-systemen om beperkingen te identificeren te verbeteren, verrijken we ze met literatuurretrieval, wat essentieel is voor het verankeren van het identificeren van beperkingen in eerdere wetenschappelijke bevindingen. Onze aanpak versterkt de capaciteiten van LLM-systemen om beperkingen in onderzoekspapers te genereren, waardoor ze in staat zijn om meer concrete en constructieve feedback te bieden.

English

Peer review is fundamental to scientific research, but the growing volume of publications has intensified the challenges of this expertise-intensive process. While LLMs show promise in various scientific tasks, their potential to assist with peer review, particularly in identifying paper limitations, remains understudied. We first present a comprehensive taxonomy of limitation types in scientific research, with a focus on AI. Guided by this taxonomy, for studying limitations, we present LimitGen, the first comprehensive benchmark for evaluating LLMs' capability to support early-stage feedback and complement human peer review. Our benchmark consists of two subsets: LimitGen-Syn, a synthetic dataset carefully created through controlled perturbations of high-quality papers, and LimitGen-Human, a collection of real human-written limitations. To improve the ability of LLM systems to identify limitations, we augment them with literature retrieval, which is essential for grounding identifying limitations in prior scientific findings. Our approach enhances the capabilities of LLM systems to generate limitations in research papers, enabling them to provide more concrete and constructive feedback.