DRPG（分解、検索、計画、生成）：学術的反論のためのエージェント型フレームワーク

要旨

大規模言語モデル（LLM）の科学研究ワークフローにおける採用が進んでいるにもかかわらず、学術コミュニケーションと査読における重要なステップである学術的反論（リバタル）の自動支援は、ほとんど未開拓のままである。既存のアプローチは、一般的なLLMや単純なパイプラインに依存することが多く、長文脈の理解に課題があり、的を射た説得力のある応答を生成できないことが多い。本論文では、自動学術的反論生成のためのエージェント型フレームワークであるDRPGを提案する。DRPGは4つのステップで動作する：査読コメントを原子的な懸念事項に分解（Decompose）、論文から関連する証拠を検索（Retrieve）、反論戦略を計画（Plan）、それに応じて応答を生成（Generate）。特に、DRPGのPlannerは、最も実行可能な反論の方向性を特定する際に98%以上の精度を達成している。トップカンファレンスのデータを用いた実験により、DRPGが既存の反論パイプラインを大幅に上回り、8Bモデルのみを使用して平均的な人間の水準を超える性能を達成することを実証した。我々の分析はさらに、Planner設計の有効性と、多角的で説明可能な提案を提供するその価値を実証している。また、DRPGがより複雑なマルチラウンドの設定でも良好に機能することを示した。これらの結果は、DRPGの有効性と、高品質な反論コンテンツを提供し、学術的議論のスケーリングを支援する可能性を強調している。本研究成果のコードはhttps://github.com/ulab-uiuc/DRPG-RebuttalAgent で公開されている。

English

Despite the growing adoption of large language models (LLMs) in scientific research workflows, automated support for academic rebuttal, a crucial step in academic communication and peer review, remains largely underexplored. Existing approaches typically rely on off-the-shelf LLMs or simple pipelines, which struggle with long-context understanding and often fail to produce targeted and persuasive responses. In this paper, we propose DRPG, an agentic framework for automatic academic rebuttal generation that operates through four steps: Decompose reviews into atomic concerns, Retrieve relevant evidence from the paper, Plan rebuttal strategies, and Generate responses accordingly. Notably, the Planner in DRPG reaches over 98% accuracy in identifying the most feasible rebuttal direction. Experiments on data from top-tier conferences demonstrate that DRPG significantly outperforms existing rebuttal pipelines and achieves performance beyond the average human level using only an 8B model. Our analysis further demonstrates the effectiveness of the planner design and its value in providing multi-perspective and explainable suggestions. We also showed that DRPG works well in a more complex multi-round setting. These results highlight the effectiveness of DRPG and its potential to provide high-quality rebuttal content and support the scaling of academic discussions. Codes for this work are available at https://github.com/ulab-uiuc/DRPG-RebuttalAgent.

DRPG（分解、検索、計画、生成）：学術的反論のためのエージェント型フレームワーク

DRPG (Decompose, Retrieve, Plan, Generate): An Agentic Framework for Academic Rebuttal

要旨

Support