改善する前に評価することを学ぶ：自動研究エージェントのための自動ルーブリック誘導

要旨

自律的な科学研究エージェントは、文献レビュー、データ分析、実験、レポート生成を含むエンドツーエンドの科学的ワークフローへの応用が進んでいる。しかし、オープンエンドな研究タスクでは、タスク完了に必要な分析、手法、成功基準が明確に指定されないことが多い。その結果、エージェントは重要な分析を見落としたり、不適切な手法を用いたり、証拠によって十分に裏付けられていない結論を導いたりする可能性がある。この問題に対処するため、我々はAutoSciRubを提案する。これは評価優先のフレームワークであり、研究実行前にタスク固有の実行可能なルーブリックを生成し、それを用いて実行、基準レベルの検証、および反復的な改訂を導く。AutoSciRubは、仕様が不十分な指示を原子的な科学目標に分解し、それらを関連文献およびタスクで参照可能なデータに基づかせ、具体的で実行可能かつ検証可能な基準を統合する。生成されたルーブリックは、暗黙の実験的・証拠上の要件を明示化し、実験および分析の指針を提供する。改訂段階では、ルーブリックに基づく検証が未達の基準を特定し、研究レポートおよびその関連成果物の的を絞った改善を可能にする。ResearchClawBenchにおいて、AutoSciRubはテストしたすべての構成を一貫して改善し、固定のCodexハーネスにおける3つのバックボーンLLM全体で平均2.08ポイント、固定のDeepSeek-V4-Flashバックボーンにおける3つのエージェントハーネス全体で平均2.95ポイントの向上を達成した。AstaBench E2E Discoveryの無作為に抽出した20タスクのサブセットでは、AutoSciRubは3つのエージェントハーネス全体で平均16.8ポイントの改善を達成し、正常に完了したタスク数を維持または増加させた。これらの結果は、評価優先のガイダンスが自律的な科学研究のための効果的かつ汎用的な制御メカニズムを提供することを示している（コード: https://github.com/zjunlp/AutoSciRub）。

English

Autonomous scientific research agents are increasingly applied to end-to-end scientific workflows, including literature review, data analysis, experimentation, and report generation. However, open-ended research tasks often do not clearly specify the analyses, methods, and success criteria required to complete the task. As a result, agents may miss important analyses, use inappropriate methods, or draw conclusions that are insufficiently supported by evidence. To address the problem, we present AutoSciRub, an evaluation-first framework that induces a task-specific executable rubric before research execution, and uses it to guide execution, criterion-level verification as well as iterative revision. AutoSciRub decomposes an underspecified instruction into atomic scientific goals, grounds them in relevant literature and task-visible data, and synthesizes specific, actionable, and verifiable criteria. The resulting rubric makes implicit experimental and evidential requirements explicit, providing guidance for experiments and analyses. During revision, rubric-guided verification identifies unmet criteria and enables targeted refinement of the research report and its supporting artifacts. On ResearchClawBench, AutoSciRub consistently improves all tested configurations, with an average gain of 2.08 points across three backbone LLMs under the fixed Codex harness and 2.95 points across three agent harnesses using a fixed DeepSeek-V4-Flash backbone. On a randomly sampled 20-task subset of AstaBench E2E Discovery, AutoSciRub further achieves an average improvement of 16.8 points across three agent harnesses, while maintaining or increasing the number of successfully completed tasks. These results demonstrate that evaluation-first guidance provides an effective and generalizable control mechanism for autonomous scientific research (Code: https://github.com/zjunlp/AutoSciRub).