Einblicke aus dem ICLR-Begutachtungs- und Replikationsverfahren
Insights from the ICLR Peer Review and Rebuttal Process
November 19, 2025
papers.authors: Amir Hossein Kargaran, Nafiseh Nikeghbal, Jing Yang, Nedjma Ousidhoum
cs.AI
papers.abstract
Der Peer-Review ist ein Eckpfeiler des wissenschaftlichen Publikationswesens, auch bei führenden Konferenzen für maschinelles Lernen wie ICLR. Mit steigenden Einreichungszahlen ist das Verständnis der Art und Dynamik des Begutachtungsprozesses entscheidend, um dessen Effizienz, Wirksamkeit und die Qualität der veröffentlichten Arbeiten zu verbessern. Wir präsentieren eine groß angelegte Analyse der Peer-Review-Prozesse der ICLR 2024 und 2025, mit Fokus auf Bewertungen vor und nach der Replikation sowie auf Interaktionen zwischen Gutachtern und Autoren. Wir untersuchen Bewertungen, das Engagement zwischen Autoren und Gutachtern, zeitliche Muster bei der Einreichung von Gutachten und Einflüsse zwischen Ko-Gutachtern. Durch die Kombination quantitativer Analysen mit einer KI-basierten Kategorisierung von Gutachtentexten und Replikationsdiskussionen identifizieren wir häufige Stärken und Schwächen für jede Bewertungsgruppe sowie Trends bei Replikationsstrategien, die am stärksten mit Bewertungsänderungen verbunden sind. Unsere Ergebnisse zeigen, dass die initialen Bewertungen und die Ratings von Ko-Gutachtern die stärksten Prädiktoren für Bewertungsänderungen während der Replikation sind, was auf einen gewissen Einfluss zwischen Gutachtern hindeutet. Replikationen spielen eine wertvolle Rolle bei der Verbesserung der Ergebnisse für Grenzfälle, bei denen durchdachte Autorenantworten die Perspektive der Gutachter merklich verändern können. Weiter gefasst bietet unsere Studie evidenzbasierte Einblicke zur Verbesserung des Peer-Review-Prozesses, die Autoren bei effektiven Replikationsstrategien leiten und der Community helfen sollen, fairere und effizientere Begutachtungsprozesse zu gestalten. Unser Code und die Bewertungsänderungsdaten sind verfügbar unter https://github.com/papercopilot/iclr-insights.
English
Peer review is a cornerstone of scientific publishing, including at premier machine learning conferences such as ICLR. As submission volumes increase, understanding the nature and dynamics of the review process is crucial for improving its efficiency, effectiveness, and the quality of published papers. We present a large-scale analysis of the ICLR 2024 and 2025 peer review processes, focusing on before- and after-rebuttal scores and reviewer-author interactions. We examine review scores, author-reviewer engagement, temporal patterns in review submissions, and co-reviewer influence effects. Combining quantitative analyses with LLM-based categorization of review texts and rebuttal discussions, we identify common strengths and weaknesses for each rating group, as well as trends in rebuttal strategies that are most strongly associated with score changes. Our findings show that initial scores and the ratings of co-reviewers are the strongest predictors of score changes during the rebuttal, pointing to a degree of reviewer influence. Rebuttals play a valuable role in improving outcomes for borderline papers, where thoughtful author responses can meaningfully shift reviewer perspectives. More broadly, our study offers evidence-based insights to improve the peer review process, guiding authors on effective rebuttal strategies and helping the community design fairer and more efficient review processes. Our code and score changes data are available at https://github.com/papercopilot/iclr-insights.