ICLRピアレビューと反論プロセスからの示唆

Insights from the ICLR Peer Review and Rebuttal Process

November 19, 2025

著者: Amir Hossein Kargaran, Nafiseh Nikeghbal, Jing Yang, Nedjma Ousidhoum

cs.AI

要旨

ピアレビューは、ICLRのような主要な機械学習カンファレンスを含む科学出版の礎石である。投稿数が増加する中、レビュープロセスの本質とダイナミクスを理解することは、その効率性、有効性、および出版論文の質を向上させるために極めて重要である。本稿では、ICLR 2024および2025のピアレビュープロセスに焦点を当て、反論前後のスコアとレビュアーと著者の相互作用に着目した大規模分析を提示する。我々は、レビュースコア、著者とレビュアーの関与度、レビュー投稿の時間的パターン、共同レビュアーの影響効果を検証する。定量分析と、レビューテキスト及び反論議論に対するLLMベースの分類を組み合わせることで、各評価グループに共通する長所と短所、およびスコア変動に最も強く関連する反論戦略の傾向を明らかにする。我々の分析結果は、初期スコアと共同レビュアーの評価が反論期間中のスコア変動の最も強力な予測因子であり、一定のレビュアー間の影響の存在を示唆している。反論は、境界線上の論文の採択結果を改善する上で有益な役割を果たしており、思慮深い著者の応答がレビュアーの見解を有意に変化させ得る。より広く見れば、本研究はピアレビュープロセスを改善するための証拠に基づく知見を提供し、著者に対して効果的な反論戦略を指南し、コミュニティがより公平で効率的なレビュープロセスを設計するのに貢献する。コード及びスコア変動データはhttps://github.com/papercopilot/iclr-insights で公開されている。

English

Peer review is a cornerstone of scientific publishing, including at premier machine learning conferences such as ICLR. As submission volumes increase, understanding the nature and dynamics of the review process is crucial for improving its efficiency, effectiveness, and the quality of published papers. We present a large-scale analysis of the ICLR 2024 and 2025 peer review processes, focusing on before- and after-rebuttal scores and reviewer-author interactions. We examine review scores, author-reviewer engagement, temporal patterns in review submissions, and co-reviewer influence effects. Combining quantitative analyses with LLM-based categorization of review texts and rebuttal discussions, we identify common strengths and weaknesses for each rating group, as well as trends in rebuttal strategies that are most strongly associated with score changes. Our findings show that initial scores and the ratings of co-reviewers are the strongest predictors of score changes during the rebuttal, pointing to a degree of reviewer influence. Rebuttals play a valuable role in improving outcomes for borderline papers, where thoughtful author responses can meaningfully shift reviewer perspectives. More broadly, our study offers evidence-based insights to improve the peer review process, guiding authors on effective rebuttal strategies and helping the community design fairer and more efficient review processes. Our code and score changes data are available at https://github.com/papercopilot/iclr-insights.