Percepções do Processo de Revisão por Pares e Réplica do ICLR
Insights from the ICLR Peer Review and Rebuttal Process
November 19, 2025
Autores: Amir Hossein Kargaran, Nafiseh Nikeghbal, Jing Yang, Nedjma Ousidhoum
cs.AI
Resumo
A revisão por pares é uma pedra angular da publicação científica, inclusive nas principais conferências de aprendizado de máquina, como a ICLR. Com o aumento do volume de submissões, compreender a natureza e a dinâmica do processo de revisão é crucial para melhorar sua eficiência, eficácia e a qualidade dos artigos publicados. Apresentamos uma análise em larga escala dos processos de revisão por pares da ICLR 2024 e 2025, focando nas notas antes e após a réplica e nas interações entre revisores e autores. Examinamos as notas das revisões, o engajamento autor-revisor, os padrões temporais na submissão de revisões e os efeitos de influência entre co-revisores. Combinando análises quantitativas com a categorização baseada em LLM dos textos de revisão e das discussões de réplica, identificamos pontos fortes e fracos comuns para cada grupo de classificação, bem como tendências nas estratégias de réplica mais fortemente associadas a mudanças nas notas. Nossos achados mostram que as notas iniciais e as classificações dos co-revisores são os preditores mais fortes de mudanças nas notas durante a réplica, apontando para um certo grau de influência entre revisores. As réplicas desempenham um papel valioso na melhoria dos resultados para artigos limítrofes, onde respostas ponderadas dos autores podem alterar significativamente as perspectivas dos revisores. De forma mais ampla, nosso estudo oferece insights baseados em evidências para melhorar o processo de revisão por pares, orientando os autores sobre estratégias eficazes de réplica e ajudando a comunidade a projetar processos de revisão mais justos e eficientes. Nosso código e os dados sobre mudanças de notas estão disponíveis em https://github.com/papercopilot/iclr-insights.
English
Peer review is a cornerstone of scientific publishing, including at premier machine learning conferences such as ICLR. As submission volumes increase, understanding the nature and dynamics of the review process is crucial for improving its efficiency, effectiveness, and the quality of published papers. We present a large-scale analysis of the ICLR 2024 and 2025 peer review processes, focusing on before- and after-rebuttal scores and reviewer-author interactions. We examine review scores, author-reviewer engagement, temporal patterns in review submissions, and co-reviewer influence effects. Combining quantitative analyses with LLM-based categorization of review texts and rebuttal discussions, we identify common strengths and weaknesses for each rating group, as well as trends in rebuttal strategies that are most strongly associated with score changes. Our findings show that initial scores and the ratings of co-reviewers are the strongest predictors of score changes during the rebuttal, pointing to a degree of reviewer influence. Rebuttals play a valuable role in improving outcomes for borderline papers, where thoughtful author responses can meaningfully shift reviewer perspectives. More broadly, our study offers evidence-based insights to improve the peer review process, guiding authors on effective rebuttal strategies and helping the community design fairer and more efficient review processes. Our code and score changes data are available at https://github.com/papercopilot/iclr-insights.