Inzichten uit het ICLR Peer Review- en Rebuttalproces
Insights from the ICLR Peer Review and Rebuttal Process
November 19, 2025
Auteurs: Amir Hossein Kargaran, Nafiseh Nikeghbal, Jing Yang, Nedjma Ousidhoum
cs.AI
Samenvatting
Peer review is een hoeksteen van wetenschappelijke publicatie, ook bij toonaangevende conferenties voor machine learning zoals ICLR. Naarmate het aantal inzendingen toeneemt, is het begrijpen van de aard en dynamiek van het beoordelingsproces cruciaal om de efficiëntie, effectiviteit en de kwaliteit van gepubliceerde artikelen te verbeteren. Wij presenteren een grootschalige analyse van de peer review-processen van ICLR 2024 en 2025, met de focus op scores voor en na de rebuttal en interacties tussen auteurs en reviewers. Wij onderzoeken beoordelingsscores, de betrokkenheid van auteurs en reviewers, temporele patronen in het indienen van reviews en invloedeffecten tussen mede-reviewers. Door kwantitatieve analyses te combineren met op grote taalmodelen gebaseerde categorisatie van reviewteksten en rebuttal-discussies, identificeren we veelvoorkomende sterke en zwakke punten voor elke scoringsgroep, evenals trends in rebuttal-strategieën die het sterkst geassocieerd zijn met scoreveranderingen. Onze bevindingen tonen aan dat initiële scores en de beoordelingen van mede-reviewers de sterkste voorspellers zijn van scoreveranderingen tijdens de rebuttal, wat wijst op een zekere mate van invloed tussen reviewers. Rebuttals spelen een waardevolle rol bij het verbeteren van de resultaten voor grensgeval-artikelen, waar doordachte auteursreacties de perspectieven van reviewers betekenisvol kunnen veranderen. In bredere zin biedt onze studie evidence-based inzichten om het peer review-proces te verbeteren, waarbij we auteurs begeleiden naar effectieve rebuttal-strategieën en de gemeenschap helpen om eerlijkere en efficiëntere reviewprocessen te ontwerpen. Onze code en gegevens over scoreveranderingen zijn beschikbaar op https://github.com/papercopilot/iclr-insights.
English
Peer review is a cornerstone of scientific publishing, including at premier machine learning conferences such as ICLR. As submission volumes increase, understanding the nature and dynamics of the review process is crucial for improving its efficiency, effectiveness, and the quality of published papers. We present a large-scale analysis of the ICLR 2024 and 2025 peer review processes, focusing on before- and after-rebuttal scores and reviewer-author interactions. We examine review scores, author-reviewer engagement, temporal patterns in review submissions, and co-reviewer influence effects. Combining quantitative analyses with LLM-based categorization of review texts and rebuttal discussions, we identify common strengths and weaknesses for each rating group, as well as trends in rebuttal strategies that are most strongly associated with score changes. Our findings show that initial scores and the ratings of co-reviewers are the strongest predictors of score changes during the rebuttal, pointing to a degree of reviewer influence. Rebuttals play a valuable role in improving outcomes for borderline papers, where thoughtful author responses can meaningfully shift reviewer perspectives. More broadly, our study offers evidence-based insights to improve the peer review process, guiding authors on effective rebuttal strategies and helping the community design fairer and more efficient review processes. Our code and score changes data are available at https://github.com/papercopilot/iclr-insights.