개선 전 평가 학습: 자동 연구 에이전트를 위한 자동 루브릭 생성

초록

자율 과학 연구 에이전트는 문헌 검토, 데이터 분석, 실험, 보고서 생성을 포함한 종단 간 과학 워크플로우에 점점 더 널리 적용되고 있다. 그러나 개방형 연구 과제는 과제 완료에 필요한 분석, 방법론, 성공 기준을 명확히 제시하지 않는 경우가 많다. 그 결과, 에이전트는 중요한 분석을 누락하거나, 부적절한 방법을 사용하거나, 증거로 충분히 뒷받침되지 않는 결론을 도출할 수 있다. 이러한 문제를 해결하기 위해 본 논문은 AutoSciRub를 제안한다. AutoSciRub는 연구 실행 전에 과제 특화 실행 가능 루브릭(executable rubric)을 도출하는 평가 우선(evaluation-first) 프레임워크로서, 도출된 루브릭을 실행, 기준 수준 검증, 반복적 수정을 안내하는 데 활용한다. AutoSciRub는 불충분하게 명시된 지시를 원자적 과학 목표로 분해하고, 이를 관련 문헌 및 과제에서 확인 가능한 데이터에 근거하여 구체적이고 실행 가능하며 검증 가능한 기준으로 종합한다. 생성된 루브릭은 암묵적인 실험 및 증거 요구사항을 명시화하여 실험과 분석에 대한 지침을 제공한다. 수정 단계에서 루브릭 기반 검증은 충족되지 않은 기준을 식별하고 연구 보고서 및 관련 산출물에 대한 정밀한 개선을 가능하게 한다. ResearchClawBench에서 AutoSciRub는 테스트된 모든 구성에서 일관된 성능 향상을 보였으며, 고정 Codex 하네스 환경에서 세 가지 백본 LLM에 걸쳐 평균 2.08점, 고정 DeepSeek-V4-Flash 백본에서 세 가지 에이전트 하네스에 걸쳐 평균 2.95점의 향상을 달성했다. AstaBench E2E Discovery의 무작위 표본 20개 과제 하위 집합에서 AutoSciRub는 세 가지 에이전트 하네스에 걸쳐 평균 16.8점의 향상을 달성했으며, 성공적으로 완료된 과제의 수를 유지하거나 증가시켰다. 이러한 결과는 평가 우선 안내가 자율 과학 연구를 위한 효과적이고 일반화 가능한 제어 메커니즘을 제공함을 입증한다. (코드: https://github.com/zjunlp/AutoSciRub)

English

Autonomous scientific research agents are increasingly applied to end-to-end scientific workflows, including literature review, data analysis, experimentation, and report generation. However, open-ended research tasks often do not clearly specify the analyses, methods, and success criteria required to complete the task. As a result, agents may miss important analyses, use inappropriate methods, or draw conclusions that are insufficiently supported by evidence. To address the problem, we present AutoSciRub, an evaluation-first framework that induces a task-specific executable rubric before research execution, and uses it to guide execution, criterion-level verification as well as iterative revision. AutoSciRub decomposes an underspecified instruction into atomic scientific goals, grounds them in relevant literature and task-visible data, and synthesizes specific, actionable, and verifiable criteria. The resulting rubric makes implicit experimental and evidential requirements explicit, providing guidance for experiments and analyses. During revision, rubric-guided verification identifies unmet criteria and enables targeted refinement of the research report and its supporting artifacts. On ResearchClawBench, AutoSciRub consistently improves all tested configurations, with an average gain of 2.08 points across three backbone LLMs under the fixed Codex harness and 2.95 points across three agent harnesses using a fixed DeepSeek-V4-Flash backbone. On a randomly sampled 20-task subset of AstaBench E2E Discovery, AutoSciRub further achieves an average improvement of 16.8 points across three agent harnesses, while maintaining or increasing the number of successfully completed tasks. These results demonstrate that evaluation-first guidance provides an effective and generalizable control mechanism for autonomous scientific research (Code: https://github.com/zjunlp/AutoSciRub).