RbtAct : La Réfutation comme Supervision pour la Génération de Retours d'Examen Actionnables
RbtAct: Rebuttal as Supervision for Actionable Review Feedback Generation
March 10, 2026
Auteurs: Sihong Wu, Yiling Ma, Yilun Zhao, Tiansheng Hu, Owen Jiang, Manasi Patwardhan, Arman Cohan
cs.AI
Résumé
Les grands modèles de langage (LLM) sont de plus en plus utilisés dans le processus scientifique, notamment pour rédiger des rapports d'évaluation par les pairs. Cependant, de nombreuses évaluations générées par l'IA sont superficielles et manquent d'opérationnalité, laissant les auteurs sans conseils concrets et applicables, ce qui motive l'objectif de ce travail. Nous proposons RbtAct, qui vise à générer des retours d'évaluation actionnables et place la rédaction des réponses aux évaluations existantes au cœur de l'apprentissage. Les réponses aux évaluations révèlent quels commentaires ont conduit à des révisions concrètes ou à des plans spécifiques, et lesquels n'ont fait l'objet que de défenses. En nous appuyant sur cette observation, nous utilisons les réponses comme supervision implicite pour optimiser directement un générateur de feedback en fonction de son actionnabilité. Pour soutenir cet objectif, nous proposons une nouvelle tâche appelée génération de feedback d'évaluation conditionnée par perspective au niveau segment, où le modèle doit produire un commentaire unique et ciblé basé sur l'article complet et une perspective spécifique telle que les expériences ou la rédaction. Nous construisons également un vaste ensemble de données nommé RMR-75K qui met en correspondance les segments d'évaluation avec les segments de réponse qui les adressent, incluant des labels de perspective et des catégories d'impact hiérarchisant l'adoption par les auteurs. Nous entraînons ensuite le modèle Llama-3.1-8B-Instruct par fine-tuning supervisé sur des segments d'évaluation, suivi d'une optimisation des préférences utilisant des paires dérivées des réponses. Les expériences avec des experts humains et une évaluation par LLM démontrent des gains constants en actionnabilité et spécificité par rapport à des bases de référence solides, tout en maintenant l'ancrage factuel et la pertinence.
English
Large language models (LLMs) are increasingly used across the scientific workflow, including to draft peer-review reports. However, many AI-generated reviews are superficial and insufficiently actionable, leaving authors without concrete, implementable guidance and motivating the gap this work addresses. We propose RbtAct, which targets actionable review feedback generation and places existing peer review rebuttal at the center of learning. Rebuttals show which reviewer comments led to concrete revisions or specific plans, and which were only defended. Building on this insight, we leverage rebuttal as implicit supervision to directly optimize a feedback generator for actionability. To support this objective, we propose a new task called perspective-conditioned segment-level review feedback generation, in which the model is required to produce a single focused comment based on the complete paper and a specified perspective such as experiments and writing. We also build a large dataset named RMR-75K that maps review segments to the rebuttal segments that address them, with perspective labels and impact categories that order author uptake. We then train the Llama-3.1-8B-Instruct model with supervised fine-tuning on review segments followed by preference optimization using rebuttal derived pairs. Experiments with human experts and LLM-as-a-judge show consistent gains in actionability and specificity over strong baselines while maintaining grounding and relevance.