멀티 에이전트 토론이 연구 논문에 대한 AI 피드백을 개선하는가?

초록

아마 그렇지 않을 것이다. 적어도 경제학 메타분석의 경우에는 그렇다. 사전 등록되고, 정체성이 가려진, 논문 내 실험에서, 44편의 메타분석 저자들은 자신의 논문을 개선하는 데 있어 유용성 기준으로 세 가지 AI 보고서를 평가했다: 단일 패스로 생성한 최첨단 모델의 보고서와, 우리가 구축했으며 더 나을 것으로 예상했던 두 가지 다중 에이전트 토론 도구의 보고서였다. 모든 보고서는 동일한 길이와 템플릿으로 제작되었다. 저자들은 단일 패스를 선호했으며, 이는 mad-research 대비 0.66 순위 포인트(95% CI 0.32~1.00), paper-workshop 대비 0.57 순위 포인트(0.16~0.95)의 차이를 보였다. 단, paper-workshop은 약 30배 더 많은 토큰을 사용했다. 자신의 학술지 심사 보고서를 기억하는 저자들은 대개 이를 1순위로 두었고 결코 마지막 순위로 두지 않았다. 별도의 실험에서, 세 명의 AI 평가자는 거의 항상 실제 학술지 심사 보고서를 마지막 순위로 두었다. 세 가지 AI 보고서 중에서, Gemini(어떤 보고서도 작성하지 않은 모델 계열의 평가자)는 저자들의 입장에서 paper-workshop을 1순위로 평가했을 것이며, 이는 단일 패스 선호도를 뒤집는 결과였다. 이러한 역전 현상은 AI 평가자를 저자 대신 사용하는 것에 대한 경고로 작용한다. 우리는 완성된 논문에 대한 인지된 유용성을 측정했으며, AI가 논문을 심사해야 하는지는 별개의 문제이다.

English

Probably not, at least for meta-analyses in economics. In a pre-registered, identity-masked, within-paper experiment, the authors of 44 meta-analyses ranked three AI reports on their own paper by usefulness for improving it: a single pass by a frontier model against two multi-agent debate tools we built and expected to win. All reports were held to a common length and template. The authors preferred the single pass, by 0.66 rank points over mad-research (95% CI 0.32 to 1.00) and 0.57 over paper-workshop (0.16 to 0.95), though paper-workshop spent roughly thirty times the tokens. Authors who recalled their journal referee report usually placed it first and never last; in a separate exercise, three AI judges almost always placed the real journal referee report last. Among the three AI reports, Gemini (the judge whose model family wrote none of the reports) would have ranked paper-workshop first in the authors' place, reversing the single-pass preference. The reversal warns against substituting an AI judge for the author. We measure perceived usefulness for finished papers; whether AI should referee papers is a separate question.

멀티 에이전트 토론이 연구 논문에 대한 AI 피드백을 개선하는가?

Does Multi-Agent Debate Improve AI Feedback on Research Papers?

초록

Support