Perspectivas del proceso de revisión por pares y réplica de ICLR
Insights from the ICLR Peer Review and Rebuttal Process
November 19, 2025
Autores: Amir Hossein Kargaran, Nafiseh Nikeghbal, Jing Yang, Nedjma Ousidhoum
cs.AI
Resumen
La revisión por pares es un pilar fundamental de la publicación científica, incluso en conferencias de primer nivel en aprendizaje automático como ICLR. A medida que aumenta el volumen de envíos, comprender la naturaleza y dinámica del proceso de revisión es crucial para mejorar su eficiencia, efectividad y la calidad de los artículos publicados. Presentamos un análisis a gran escala de los procesos de revisión por pares de ICLR 2024 y 2025, centrándonos en las puntuaciones antes y después de la réplica y en las interacciones entre autores y revisores. Examinamos las puntuaciones de las revisiones, la participación autor-revisor, los patrones temporales en la entrega de revisiones y los efectos de influencia entre co-revisores. Combinando análisis cuantitativos con la categorización basada en LLM de los textos de revisión y las discusiones de réplica, identificamos las fortalezas y debilidades comunes para cada grupo de calificación, así como las tendencias en las estrategias de réplica más fuertemente asociadas con los cambios de puntuación. Nuestros hallazgos muestran que las puntuaciones iniciales y las calificaciones de los co-revisores son los predictores más fuertes de los cambios de puntuación durante la réplica, lo que apunta a un cierto grado de influencia entre revisores. Las réplicas juegan un papel valioso para mejorar los resultados de los artículos en el límite de aceptación, donde las respuestas reflexivas de los autores pueden modificar significativamente las perspectivas de los revisores. En términos más amplios, nuestro estudio ofrece perspectivas basadas en evidencia para mejorar el proceso de revisión por pares, guiando a los autores sobre estrategias de réplica efectivas y ayudando a la comunidad a diseñar procesos de revisión más justos y eficientes. Nuestro código y los datos de cambios de puntuación están disponibles en https://github.com/papercopilot/iclr-insights.
English
Peer review is a cornerstone of scientific publishing, including at premier machine learning conferences such as ICLR. As submission volumes increase, understanding the nature and dynamics of the review process is crucial for improving its efficiency, effectiveness, and the quality of published papers. We present a large-scale analysis of the ICLR 2024 and 2025 peer review processes, focusing on before- and after-rebuttal scores and reviewer-author interactions. We examine review scores, author-reviewer engagement, temporal patterns in review submissions, and co-reviewer influence effects. Combining quantitative analyses with LLM-based categorization of review texts and rebuttal discussions, we identify common strengths and weaknesses for each rating group, as well as trends in rebuttal strategies that are most strongly associated with score changes. Our findings show that initial scores and the ratings of co-reviewers are the strongest predictors of score changes during the rebuttal, pointing to a degree of reviewer influence. Rebuttals play a valuable role in improving outcomes for borderline papers, where thoughtful author responses can meaningfully shift reviewer perspectives. More broadly, our study offers evidence-based insights to improve the peer review process, guiding authors on effective rebuttal strategies and helping the community design fairer and more efficient review processes. Our code and score changes data are available at https://github.com/papercopilot/iclr-insights.