DRPG(분해, 검색, 계획, 생성): 학술 논문 반론을 위한 에이전트 기반 프레임워크

초록

대규모 언어 모델(LLM)이 과학 연구 워크플로우에서 점차 확산되고 있음에도 불구하고, 학술 커뮤니케이션 및 동료 검토의 핵심 단계인 학술 반론(rebuttal)에 대한 자동화된 지원은 여전히 크게 미개척 분야로 남아 있습니다. 기존 접근법은 일반적으로 상용 LLM이나 단순한 파이프라인에 의존하는데, 이는 긴 맥락 이해에 어려움을 겪으며 표적적이고 설득력 있는 응답을 생성하는 데 종종 실패합니다. 본 논문에서는 학술 반론 자동 생성을 위한 에이전트 기반 프레임워크인 DRPG를 제안합니다. DRPG는 네 단계, 즉 검토 내용을 원자적 문제점으로 분해(Decompose), 논문에서 관련 증거 검색(Retrieve), 반론 전략 수립(Plan), 이에 따른 응답 생성(Generate)을 통해 운영됩니다. 특히 DRPG의 플래너(Planner)는 가장 실현 가능한 반론 방향을 식별하는 데 98% 이상의 정확도를 달성합니다. 최상위 학회 데이터를 활용한 실험 결과, DRPG는 기존 반론 파이프라인을 크게 능가하며 8B 규모의 모델만으로도 평균 인간 수준을 넘어서는 성능을 달성함을 보여줍니다. 우리의 분석은 플래너 설계의 효과성과 다각적이고 설명 가능한 제안을 제공하는 데 있어 그 가치를 추가로 입증합니다. 또한 DRPG가 보다 복잡한 다중 라운드 설정에서도 잘 작동함을 확인했습니다. 이러한 결과는 DRPG의 효과성과 고품질 반론 콘텐츠 제공 및 학술 논의의 확장을 지원할 잠재력을 강조합니다. 본 연구의 코드는 https://github.com/ulab-uiuc/DRPG-RebuttalAgent 에서 확인할 수 있습니다.

English

Despite the growing adoption of large language models (LLMs) in scientific research workflows, automated support for academic rebuttal, a crucial step in academic communication and peer review, remains largely underexplored. Existing approaches typically rely on off-the-shelf LLMs or simple pipelines, which struggle with long-context understanding and often fail to produce targeted and persuasive responses. In this paper, we propose DRPG, an agentic framework for automatic academic rebuttal generation that operates through four steps: Decompose reviews into atomic concerns, Retrieve relevant evidence from the paper, Plan rebuttal strategies, and Generate responses accordingly. Notably, the Planner in DRPG reaches over 98% accuracy in identifying the most feasible rebuttal direction. Experiments on data from top-tier conferences demonstrate that DRPG significantly outperforms existing rebuttal pipelines and achieves performance beyond the average human level using only an 8B model. Our analysis further demonstrates the effectiveness of the planner design and its value in providing multi-perspective and explainable suggestions. We also showed that DRPG works well in a more complex multi-round setting. These results highlight the effectiveness of DRPG and its potential to provide high-quality rebuttal content and support the scaling of academic discussions. Codes for this work are available at https://github.com/ulab-uiuc/DRPG-RebuttalAgent.

DRPG(분해, 검색, 계획, 생성): 학술 논문 반론을 위한 에이전트 기반 프레임워크

DRPG (Decompose, Retrieve, Plan, Generate): An Agentic Framework for Academic Rebuttal

초록

Support