Aperçus tirés du processus d'examen par les pairs et de rébuttal de l'ICLR
Insights from the ICLR Peer Review and Rebuttal Process
November 19, 2025
papers.authors: Amir Hossein Kargaran, Nafiseh Nikeghbal, Jing Yang, Nedjma Ousidhoum
cs.AI
papers.abstract
L'évaluation par les pairs est une pierre angulaire de la publication scientifique, y compris dans les grandes conférences en apprentissage automatique telles que l'ICLR. Alors que le volume des soumissions augmente, comprendre la nature et la dynamique du processus d'évaluation est crucial pour en améliorer l'efficacité, l'efficience et la qualité des articles publiés. Nous présentons une analyse à grande échelle des processus d'évaluation par les pairs des ICLR 2024 et 2025, en nous concentrant sur les scores avant et après la rébutation ainsi que sur les interactions auteur-évaluateur. Nous examinons les scores des évaluations, l'engagement auteur-évaluateur, les tendances temporelles dans la soumission des évaluations et les effets d'influence entre co-évaluateurs. En combinant des analyses quantitatives avec une catégorisation par LLM des textes d'évaluation et des discussions de rébutation, nous identifions les forces et faiblesses communes pour chaque groupe de score, ainsi que les tendances dans les stratégies de rébutation les plus fortement associées aux changements de score. Nos résultats montrent que les scores initiaux et les notations des co-évaluateurs sont les prédicteurs les plus forts des changements de score pendant la rébutation, indiquant un certain degré d'influence entre évaluateurs. Les rébutations jouent un rôle précieux pour améliorer les résultats des articles borderline, où des réponses d'auteur réfléchies peuvent modifier sensiblement les perspectives des évaluateurs. Plus largement, notre étude offre des insights fondés sur des données pour améliorer le processus d'évaluation par les pairs, en guidant les auteurs sur les stratégies de rébutation efficaces et en aidant la communauté à concevoir des processus d'évaluation plus équitables et efficaces. Notre code et les données sur les changements de score sont disponibles à l'adresse https://github.com/papercopilot/iclr-insights.
English
Peer review is a cornerstone of scientific publishing, including at premier machine learning conferences such as ICLR. As submission volumes increase, understanding the nature and dynamics of the review process is crucial for improving its efficiency, effectiveness, and the quality of published papers. We present a large-scale analysis of the ICLR 2024 and 2025 peer review processes, focusing on before- and after-rebuttal scores and reviewer-author interactions. We examine review scores, author-reviewer engagement, temporal patterns in review submissions, and co-reviewer influence effects. Combining quantitative analyses with LLM-based categorization of review texts and rebuttal discussions, we identify common strengths and weaknesses for each rating group, as well as trends in rebuttal strategies that are most strongly associated with score changes. Our findings show that initial scores and the ratings of co-reviewers are the strongest predictors of score changes during the rebuttal, pointing to a degree of reviewer influence. Rebuttals play a valuable role in improving outcomes for borderline papers, where thoughtful author responses can meaningfully shift reviewer perspectives. More broadly, our study offers evidence-based insights to improve the peer review process, guiding authors on effective rebuttal strategies and helping the community design fairer and more efficient review processes. Our code and score changes data are available at https://github.com/papercopilot/iclr-insights.