AI 공동 연구자 실패 시: 과학 연구 자동 검증을 위한 SPOT 벤치마크

When AI Co-Scientists Fail: SPOT-a Benchmark for Automated Verification of Scientific Research

May 17, 2025

저자: Guijin Son, Jiwoo Hong, Honglu Fan, Heejeong Nam, Hyunwoo Ko, Seungwon Lim, Jinyeop Song, Jinha Choi, Gonçalo Paulo, Youngjae Yu, Stella Biderman

cs.AI

초록

대규모 언어 모델(LLM)의 최근 발전은 자동화된 과학적 발견, 즉 AI 공동 과학자라는 비전을 촉진시켰습니다. 지금까지의 연구는 이러한 시스템을 가설 구성, 코드 합성, 또는 원고 작성과 같은 생성적 공동 저자로 간주해 왔습니다. 본 연구에서는 보완적인 응용 분야를 탐구합니다: LLM을 검증자로 활용하여 과학 논문의 학술적 검증을 자동화하는 것입니다. 이를 위해, 우리는 실제 저자와 인간 주석자와 교차 검증된 83편의 출판 논문과 이를 수정하거나 철회하게 만든 91개의 오류를 짝지은 SPOT 데이터셋을 소개합니다. SPOT에서 최첨단 LLM을 평가한 결과, 어떤 모델도 21.1%의 재현율 또는 6.1%의 정밀도를 넘지 못했습니다(o3가 가장 높은 점수를 기록했으며, 다른 모든 모델은 거의 0에 가까웠습니다). 또한, 신뢰도 추정치는 전반적으로 낮았으며, 8번의 독립 실행에서 모델이 동일한 오류를 재발견하는 경우는 드물어 신뢰성이 떨어짐을 보여주었습니다. 마지막으로, 도메인 전문가와의 질적 분석은 가장 강력한 모델조차도 오해에서 비롯된 학생 수준의 오류를 범한다는 것을 드러냈습니다. 이러한 발견들은 현재 LLM의 능력과 신뢰할 수 있는 AI 지원 학술 검증에 필요한 요구 사항 사이의 상당한 격차를 강조합니다.

English

Recent advances in large language models (LLMs) have fueled the vision of automated scientific discovery, often called AI Co-Scientists. To date, prior work casts these systems as generative co-authors responsible for crafting hypotheses, synthesizing code, or drafting manuscripts. In this work, we explore a complementary application: using LLMs as verifiers to automate the academic verification of scientific manuscripts. To that end, we introduce SPOT, a dataset of 83 published papers paired with 91 errors significant enough to prompt errata or retraction, cross-validated with actual authors and human annotators. Evaluating state-of-the-art LLMs on SPOT, we find that none surpasses 21.1\% recall or 6.1\% precision (o3 achieves the best scores, with all others near zero). Furthermore, confidence estimates are uniformly low, and across eight independent runs, models rarely rediscover the same errors, undermining their reliability. Finally, qualitative analysis with domain experts reveals that even the strongest models make mistakes resembling student-level misconceptions derived from misunderstandings. These findings highlight the substantial gap between current LLM capabilities and the requirements for dependable AI-assisted academic verification.