Approfondimenti dal Processo di Revisione Paritaria e Replica dell'ICLR
Insights from the ICLR Peer Review and Rebuttal Process
November 19, 2025
Autori: Amir Hossein Kargaran, Nafiseh Nikeghbal, Jing Yang, Nedjma Ousidhoum
cs.AI
Abstract
La revisione tra pari è una pietra angolare della pubblicazione scientifica, incluso in prestigiose conferenze di machine learning come ICLR. Con l'aumento dei volumi di submission, comprendere la natura e le dinamiche del processo di revisione è cruciale per migliorarne l'efficienza, l'efficacia e la qualità dei paper pubblicati. Presentiamo un'analisi su larga scala dei processi di revisione tra pari di ICLR 2024 e 2025, concentrandoci sui punteggi pre e post-replica e sulle interazioni tra revisori e autori. Esaminiamo i punteggi delle revisioni, il coinvolgimento autore-revisore, gli schemi temporali nella consegna delle revisioni e gli effetti di influenza tra co-revisori. Combinando analisi quantitative con la categorizzazione basata su LLM dei testi di revisione e delle discussioni di replica, identifichiamo punti di forza e debolezze comuni per ogni gruppo di valutazione, nonché tendenze nelle strategie di replica più fortemente associate alle variazioni dei punteggi. I nostri risultati mostrano che i punteggi iniziali e le valutazioni dei co-revisori sono i predittori più forti delle variazioni di punteggio durante la replica, indicando un certo grado di influenza tra revisori. Le repliche svolgono un ruolo prezioso nel migliorare gli esiti per i paper borderline, dove risposte ponderate degli autori possono modificare significativamente le prospettive dei revisori. Più in generale, il nostro studio offre spunti basati su evidenze per migliorare il processo di revisione tra pari, guidando gli autori su strategie di replica efficaci e aiutando la comunità a progettare processi di revisione più equi ed efficienti. Il nostro codice e i dati sulle variazioni dei punteggi sono disponibili su https://github.com/papercopilot/iclr-insights.
English
Peer review is a cornerstone of scientific publishing, including at premier machine learning conferences such as ICLR. As submission volumes increase, understanding the nature and dynamics of the review process is crucial for improving its efficiency, effectiveness, and the quality of published papers. We present a large-scale analysis of the ICLR 2024 and 2025 peer review processes, focusing on before- and after-rebuttal scores and reviewer-author interactions. We examine review scores, author-reviewer engagement, temporal patterns in review submissions, and co-reviewer influence effects. Combining quantitative analyses with LLM-based categorization of review texts and rebuttal discussions, we identify common strengths and weaknesses for each rating group, as well as trends in rebuttal strategies that are most strongly associated with score changes. Our findings show that initial scores and the ratings of co-reviewers are the strongest predictors of score changes during the rebuttal, pointing to a degree of reviewer influence. Rebuttals play a valuable role in improving outcomes for borderline papers, where thoughtful author responses can meaningfully shift reviewer perspectives. More broadly, our study offers evidence-based insights to improve the peer review process, guiding authors on effective rebuttal strategies and helping the community design fairer and more efficient review processes. Our code and score changes data are available at https://github.com/papercopilot/iclr-insights.