ICLR 피어 리뷰 및 반론 과정에서 얻은 통찰
Insights from the ICLR Peer Review and Rebuttal Process
November 19, 2025
저자: Amir Hossein Kargaran, Nafiseh Nikeghbal, Jing Yang, Nedjma Ousidhoum
cs.AI
초록
페어 리뷰는 ICLR과 같은 주요 머신러닝 학회를 포함한 과학 출판의 초석입니다. 제출 논문 수가 증가함에 따라, 리뷰 과정의 본질과 역학을 이해하는 것은 그 효율성, 효과성 및 출판 논문의 질을 향상시키는 데 중요합니다. 본 논문은 ICLR 2024 및 2025 페어 리뷰 과정에 대한 대규모 분석을 제시하며, 리뷰 전/후 점수 및 검토자-저자 상호작용에 초점을 맞춥니다. 우리는 리뷰 점수, 저자-검토자 참여도, 리뷰 제출의 시간적 패턴, 그리고 공동 검토자의 영향력 효과를 검토합니다. 정량적 분석과 LLM 기반 리뷰 텍스트 및 반론(rebuttal) 논의 분류를 결합하여, 각 평점 그룹별 일반적인 강점과 약점, 그리고 점수 변화와 가장 강력하게 연관된 반론 전략의 경향을 규명합니다. 우리의 연구 결과는 초기 점수와 공동 검토자의 평점이 반론 단계 동안 점수 변화의 가장 강력한 예측 변수이며, 이는 일정 정도의 검토자 간 영향력을 시사함을 보여줍니다. 반론은 경계선상에 있는 논문들의 결과를 개선하는 데 가치 있는 역할을 하며, 신중하게 구성된 저자의 응답이 검토자의 시각을 의미 있게 바꿀 수 있습니다. 더 넓게 보면, 본 연구는 페어 리뷰 과정을 개선하기 위한 증거 기반 통찰을 제공하여, 저자들에게 효과적인 반론 전략을 안내하고 커뮤니티가 더 공정하고 효율적인 리뷰 과정을 설계하는 데 도움을 줍니다. 우리의 코드와 점수 변화 데이터는 https://github.com/papercopilot/iclr-insights에서 확인할 수 있습니다.
English
Peer review is a cornerstone of scientific publishing, including at premier machine learning conferences such as ICLR. As submission volumes increase, understanding the nature and dynamics of the review process is crucial for improving its efficiency, effectiveness, and the quality of published papers. We present a large-scale analysis of the ICLR 2024 and 2025 peer review processes, focusing on before- and after-rebuttal scores and reviewer-author interactions. We examine review scores, author-reviewer engagement, temporal patterns in review submissions, and co-reviewer influence effects. Combining quantitative analyses with LLM-based categorization of review texts and rebuttal discussions, we identify common strengths and weaknesses for each rating group, as well as trends in rebuttal strategies that are most strongly associated with score changes. Our findings show that initial scores and the ratings of co-reviewers are the strongest predictors of score changes during the rebuttal, pointing to a degree of reviewer influence. Rebuttals play a valuable role in improving outcomes for borderline papers, where thoughtful author responses can meaningfully shift reviewer perspectives. More broadly, our study offers evidence-based insights to improve the peer review process, guiding authors on effective rebuttal strategies and helping the community design fairer and more efficient review processes. Our code and score changes data are available at https://github.com/papercopilot/iclr-insights.