RbtAct: Widerlegung als Aufsicht zur Erzeugung umsetzbarer Bewertungsrückmeldungen
RbtAct: Rebuttal as Supervision for Actionable Review Feedback Generation
March 10, 2026
Autoren: Sihong Wu, Yiling Ma, Yilun Zhao, Tiansheng Hu, Owen Jiang, Manasi Patwardhan, Arman Cohan
cs.AI
Zusammenfassung
Große Sprachmodelle (LLMs) werden zunehmend im gesamten wissenschaftlichen Arbeitsablauf eingesetzt, unter anderem zum Verfassen von Peer-Review-Berichten. Viele KI-generierte Gutachten sind jedoch oberflächlich und bieten zu wenig konkrete Handlungsempfehlungen, sodass Autor:innen ohne umsetzbare Anleitungen bleiben. Diese Lücke adressiert die vorliegende Arbeit. Wir schlagen RbtAct vor, das auf die Generierung von handlungsorientiertem Review-Feedback abzielt und dabei die bestehende Erwiderung auf Gutachten (Rebuttal) in den Mittelpunkt des Lernprozesses stellt. Rebuttals zeigen, welche Gutachterkommentare zu konkreten Überarbeitungen oder spezifischen Plänen führten und welche nur verteidigt wurden. Aufbauend auf dieser Erkenntnis nutzen wir Rebuttals als implizite Supervision, um einen Feedback-Generator direkt auf Handlungsorientierung zu optimieren. Um dieses Ziel zu unterstützen, schlagen wir eine neue Aufgabe vor: die perspektivenkonditionierte, segmentbezogene Generierung von Review-Feedback. Dabei muss das Modell einen einzelnen fokussierten Kommentar auf Basis des vollständigen Papers und einer spezifizierten Perspektive, wie z.B. Experimente oder Verständlichkeit, erzeugen. Zudem erstellen wir einen großen Datensatz namens RMR-75K, der Review-Segmente den Rebuttal-Segmenten zuordnet, die auf sie eingehen, ergänzt um Perspektiven-Labels und Impact-Kategorien, die die Umsetzung durch die Autor:innen klassifizieren. Anschließend trainieren wir das Llama-3.1-8B-Instruct-Modell mittels supervised Fine-Tuning auf Review-Segmenten, gefolgt von einer Präferenzoptimierung mit aus Rebuttals abgeleiteten Paaren. Experimente mit menschlichen Expert:innen und LLM-as-a-Judge zeigen konsistent Verbesserungen in der Handlungsorientierung und Spezifität gegenüber starken Baseline-Modellen bei gleichzeitiger Beibehaltung von Fundierung und Relevanz.
English
Large language models (LLMs) are increasingly used across the scientific workflow, including to draft peer-review reports. However, many AI-generated reviews are superficial and insufficiently actionable, leaving authors without concrete, implementable guidance and motivating the gap this work addresses. We propose RbtAct, which targets actionable review feedback generation and places existing peer review rebuttal at the center of learning. Rebuttals show which reviewer comments led to concrete revisions or specific plans, and which were only defended. Building on this insight, we leverage rebuttal as implicit supervision to directly optimize a feedback generator for actionability. To support this objective, we propose a new task called perspective-conditioned segment-level review feedback generation, in which the model is required to produce a single focused comment based on the complete paper and a specified perspective such as experiments and writing. We also build a large dataset named RMR-75K that maps review segments to the rebuttal segments that address them, with perspective labels and impact categories that order author uptake. We then train the Llama-3.1-8B-Instruct model with supervised fine-tuning on review segments followed by preference optimization using rebuttal derived pairs. Experiments with human experts and LLM-as-a-judge show consistent gains in actionability and specificity over strong baselines while maintaining grounding and relevance.