ジュニアAI科学者とそのリスクレポート：ベースラインペーパーからの自律的科学探求

要旨

AI Scientistシステムの現状の能力とリスクを理解することは、信頼性の高い持続可能なAI駆動型科学の発展を確保し、学術エコシステムの健全性を維持するために不可欠である。この目的に向けて、我々は新人学生研究者の中核的な研究ワークフローを模倣した最先端の自律型AI科学者システム「Jr. AI Scientist」を開発した。人間のメンターから提供されたベースライン論文をもとに、その限界を分析し、改善のための新たな仮説を立案し、厳密な実験を通じて検証し、結果を含む論文を執筆する。完全な自動化を想定したり小規模なコードで動作したりする従来のアプローチとは異なり、Jr. AI Scientistは明確に定義された研究ワークフローに従い、複雑なマルチファイル実装を処理するための最新のコーディングエージェントを活用することで、科学的に価値のある貢献を実現する。評価においては、AI Reviewerを用いた自動評価、著者主導の評価、およびAI駆動型科学貢献に特化した場であるAgents4Scienceへの投稿を通じて評価を実施した。結果、Jr. AI Scientistが生成する論文は、既存の完全自動化システムよりも高い査読スコアを得ることが示された。しかしながら、著者評価およびAgents4Scienceのレビューから重要な限界も明らかになり、現在のAI Scientistシステムを直接適用することの潜在的リスクと将来研究における主要な課題が示唆された。最後に、開発過程で特定された様々なリスクを包括的に報告する。これらの知見が、AI Scientist開発における現状の進歩とリスクに関する理解を深める一助となることを期待する。

English

Understanding the current capabilities and risks of AI Scientist systems is essential for ensuring trustworthy and sustainable AI-driven scientific progress while preserving the integrity of the academic ecosystem. To this end, we develop Jr. AI Scientist, a state-of-the-art autonomous AI scientist system that mimics the core research workflow of a novice student researcher: Given the baseline paper from the human mentor, it analyzes its limitations, formulates novel hypotheses for improvement, validates them through rigorous experimentation, and writes a paper with the results. Unlike previous approaches that assume full automation or operate on small-scale code, Jr. AI Scientist follows a well-defined research workflow and leverages modern coding agents to handle complex, multi-file implementations, leading to scientifically valuable contributions. For evaluation, we conducted automated assessments using AI Reviewers, author-led evaluations, and submissions to Agents4Science, a venue dedicated to AI-driven scientific contributions. The findings demonstrate that Jr. AI Scientist generates papers receiving higher review scores than existing fully automated systems. Nevertheless, we identify important limitations from both the author evaluation and the Agents4Science reviews, indicating the potential risks of directly applying current AI Scientist systems and key challenges for future research. Finally, we comprehensively report various risks identified during development. We hope these insights will deepen understanding of current progress and risks in AI Scientist development.

ジュニアAI科学者とそのリスクレポート：ベースラインペーパーからの自律的科学探求

Jr. AI Scientist and Its Risk Report: Autonomous Scientific Exploration from a Baseline Paper

要旨

Support