ResearchClawBench: エンドツーエンドの自律的な科学研究のためのベンチマーク
ResearchClawBench: A Benchmark for End-to-End Autonomous Scientific Research
May 28, 2026
著者: Wanghan Xu, Shuo Li, Tianlin Ye, Qinglong Cao, Yixin Chen, Hengjian Gao, Yiheng Wang, Qi Li, Kun Li, Sheng Xu, Shengdu Chai, Fangchen Yu, Xiangyu Zhao, Zhangrui Zhao, Weijie Ma, Zijie Guo, Haoyu Zhou, Haoxiang Yin, Lixue Cheng, Chaofan Hu, Haoxuan Li, Lu Mi, Xuxuan Xie, Yifan Zhou, Ruizhe Chen, Zhiwang Zhou, Xingjian Guo, Yuhao Zhou, Xuming He, Shengyuan Xu, Xinyu Gu, Jiamin Wu, Mianxin Liu, Chunfeng Song, Fenghua Ling, Dongzhan Zhou, Shixiang Tang, Yuqiang Li, Mao Su, Peng Ye, Siqi Sun, Bin Wang, Xue Yang, Zhenfei Yin, Tianfan Fu, Guangtao Zhai, Wanli Ouyang, Bo Zhang, Lei Bai, Wenlong Zhang
cs.AI
要旨
AIコーディングエージェントは科学的研究にますます利用されているが、そのエンドツーエンドの自律研究能力の検証は依然として困難である。本稿では、10の科学分野にわたる40のタスクからなる自律的科学的研究の評価ベンチマークであるResearchClawBenchを提案する。各タスクは実際に出版された論文に基づき、関連文献と生データを提供し、評価中は目標論文を隠す。専門家が選定したマルチモーダルルーブリックは目標の科学的成果物を重み付き基準に分解し、目標論文レベルの再発見を評価可能にするとともに、新たな発見の余地も残している。
我々は、統一プロトコルの下で7つの自律研究（オートリサーチ）エージェントと、軽量なResearchHarnessを通じて17のネイティブLLMを評価した。現在のシステムは、信頼性のある再発見には程遠い。最強の自律エージェントであるClaude Codeの平均スコアは21.5、最強のResearchHarness LLMであるClaude-Opus-4.7の平均スコアは20.7であり、LLMフロンティアの平均はわずか26.5である。エラー分析によると、失敗は実験プロトコルの不一致、エビデンスの不一致、科学的核心の欠落に集中している。ResearchClawBenchは、自律的科学的研究に向けた進捗を測定するための再現可能な評価フロンティアを提供する。
English
AI coding agents are increasingly used for scientific work, but their end-to-end autonomous research capability remains difficult to verify. We present ResearchClawBench, a benchmark for evaluating autonomous scientific research across 40 tasks from 10 scientific domains. Each task is grounded in a real published paper, provides related literature and raw data, and hides the target paper during evaluation. Expert-curated multimodal rubrics decompose the target scientific artifacts into weighted criteria, enabling evaluation of target-paper-level re-discovery while leaving room for new discovery. We evaluate seven autonomous research (auto-research) agents under a unified protocol and seventeen native LLMs through the lightweight ResearchHarness. Current systems remain far from reliable re-discovery: the strongest autonomous agent, Claude Code, averages 21.5, and the strongest ResearchHarness LLM, Claude-Opus-4.7, averages 20.7, with an LLM frontier mean of only 26.5. Error analysis shows that failures concentrate in experimental protocol mismatch, evidence mismatch, and missing scientific core. ResearchClawBench provides a reproducible evaluation frontier for measuring progress toward autonomous scientific research.