RbtAct: Wederlegging als Toezicht voor het Genereren van Uitvoerbare Recensiefeedback

RbtAct: Rebuttal as Supervision for Actionable Review Feedback Generation

March 10, 2026

Auteurs: Sihong Wu, Yiling Ma, Yilun Zhao, Tiansheng Hu, Owen Jiang, Manasi Patwardhan, Arman Cohan

cs.AI

Samenvatting

Grote taalmodellen (LLM's) worden steeds vaker gebruikt in de wetenschappelijke workflow, onder meer voor het opstellen van collegiale toetsingsrapporten (peer-review). Veel door AI gegenereerde reviews zijn echter oppervlakkig en onvoldoende actiegericht, waardoor auteurs geen concrete, uitvoerbare richtlijnen krijgen. Dit gemotiveert de leemte die dit werk adresseert. Wij stellen RbtAct voor, dat zich richt op het genereren van actiegerichte reviewfeedback en bestaande weerleggingen (rebuttals) van peer reviews centraal stelt bij het leren. Weerleggingen tonen aan welke beoordelaarsopmerkingen tot concrete revisies of specifieke plannen leidden, en welke alleen werden verdedigd. Voortbouwend op dit inzicht gebruiken wij de weerlegging als impliciete supervisie om een feedbackgenerator direct te optimaliseren voor actiegerichtheid. Om dit doel te ondersteunen, stellen wij een nieuwe taak voor, genaamd perspectief-geconditioneerde, segmentniveau reviewfeedbackgeneratie, waarbij het model een enkele gefocusseerde opmerking moet produceren op basis van het volledige artikel en een gespecificeerd perspectief, zoals experimenten en schrijfstijl. Wij bouwden ook een grote dataset genaamd RMR-75K, die reviewsegmenten koppelt aan de weerleggingssegmenten die deze adresseren, met perspectieflabels en impactcategorieën die de opname door de auteurs ordenen. Vervolgens trainden we het Llama-3.1-8B-Instruct model met supervised fine-tuning op reviewsegmenten, gevolgd door preference optimization met behulp van paren afgeleid uit weerleggingen. Experimenten met menselijke experts en LLM-as-a-judge tonen consistente verbeteringen in actiegerichtheid en specificiteit ten opzichte van sterke baseline-modellen, waarbij grondigheid en relevantie behouden blijven.

English

Large language models (LLMs) are increasingly used across the scientific workflow, including to draft peer-review reports. However, many AI-generated reviews are superficial and insufficiently actionable, leaving authors without concrete, implementable guidance and motivating the gap this work addresses. We propose RbtAct, which targets actionable review feedback generation and places existing peer review rebuttal at the center of learning. Rebuttals show which reviewer comments led to concrete revisions or specific plans, and which were only defended. Building on this insight, we leverage rebuttal as implicit supervision to directly optimize a feedback generator for actionability. To support this objective, we propose a new task called perspective-conditioned segment-level review feedback generation, in which the model is required to produce a single focused comment based on the complete paper and a specified perspective such as experiments and writing. We also build a large dataset named RMR-75K that maps review segments to the rebuttal segments that address them, with perspective labels and impact categories that order author uptake. We then train the Llama-3.1-8B-Instruct model with supervised fine-tuning on review segments followed by preference optimization using rebuttal derived pairs. Experiments with human experts and LLM-as-a-judge show consistent gains in actionability and specificity over strong baselines while maintaining grounding and relevance.