Инсайты из процесса рецензирования и авторских ответов ICLR
Insights from the ICLR Peer Review and Rebuttal Process
November 19, 2025
Авторы: Amir Hossein Kargaran, Nafiseh Nikeghbal, Jing Yang, Nedjma Ousidhoum
cs.AI
Аннотация
Проверка рецензирования является краеугольным камнем научной публикации, включая ведущие конференции по машинному обучению, такие как ICLR. По мере роста числа подаваемых работ понимание природы и динамики процесса рецензирования становится crucial для повышения его эффективности, действенности и качества публикуемых статей. Мы представляем масштабный анализ процесса рецензирования ICLR 2024 и 2025 годов, сосредоточившись на оценках до и после получения авторских ответов, а также на взаимодействиях между рецензентами и авторами. Мы исследуем оценки рецензентов, вовлеченность авторов и рецензентов, временные паттерны подачи рецензий и эффекты влияния сорецензентов. Комбинируя количественный анализ с категоризацией текстов рецензий и дискуссий по ответам на основе больших языковых моделей (LLM), мы выявляем типичные сильные и слабые стороны для каждой рейтинговой группы, а также тенденции в стратегиях ответов, которые наиболее сильно связаны с изменением оценок. Наши результаты показывают, что исходные оценки и рейтинги сорецензентов являются наиболее сильными предикторами изменения оценок в процессе ответов, что указывает на определенную степень влияния рецензентов. Ответы авторов играют ценную роль в улучшении результатов для пограничных статей, где вдумчивые авторские ответы могут существенно изменить мнение рецензентов. В более широком смысле наше исследование предлагает основанные на данных инсайты для улучшения процесса рецензирования, направляя авторов к эффективным стратегиям ответов и помогая сообществу разрабатывать более справедливые и эффективные процессы рецензирования. Наш код и данные об изменении оценок доступны по адресу https://github.com/papercopilot/iclr-insights.
English
Peer review is a cornerstone of scientific publishing, including at premier machine learning conferences such as ICLR. As submission volumes increase, understanding the nature and dynamics of the review process is crucial for improving its efficiency, effectiveness, and the quality of published papers. We present a large-scale analysis of the ICLR 2024 and 2025 peer review processes, focusing on before- and after-rebuttal scores and reviewer-author interactions. We examine review scores, author-reviewer engagement, temporal patterns in review submissions, and co-reviewer influence effects. Combining quantitative analyses with LLM-based categorization of review texts and rebuttal discussions, we identify common strengths and weaknesses for each rating group, as well as trends in rebuttal strategies that are most strongly associated with score changes. Our findings show that initial scores and the ratings of co-reviewers are the strongest predictors of score changes during the rebuttal, pointing to a degree of reviewer influence. Rebuttals play a valuable role in improving outcomes for borderline papers, where thoughtful author responses can meaningfully shift reviewer perspectives. More broadly, our study offers evidence-based insights to improve the peer review process, guiding authors on effective rebuttal strategies and helping the community design fairer and more efficient review processes. Our code and score changes data are available at https://github.com/papercopilot/iclr-insights.