RbtAct: Confutazione come Supervisione per la Generazione di Feedback di Revisione Azionabile

RbtAct: Rebuttal as Supervision for Actionable Review Feedback Generation

March 10, 2026

Autori: Sihong Wu, Yiling Ma, Yilun Zhao, Tiansheng Hu, Owen Jiang, Manasi Patwardhan, Arman Cohan

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) sono sempre più utilizzati nell'ambito del workflow scientifico, incluso per la stesura di rapporti di revisione paritaria. Tuttavia, molte revisioni generate dall'IA sono superficiali e insufficientemente azionabili, lasciando gli autori senza una guida concreta e implementabile e motivando il gap che questo lavoro affronta. Proponiamo RbtAct, che mira alla generazione di feedback di revisione azionabili e colloca la replica alla revisione paritaria esistente al centro dell'apprendimento. Le repliche mostrano quali commenti del revisore hanno portato a revisioni concrete o piani specifici e quali sono stati solamente difesi. Basandoci su questa intuizione, sfruttiamo la replica come supervisione implicita per ottimizzare direttamente un generatore di feedback per l'azionabilità. Per supportare questo obiettivo, proponiamo un nuovo compito chiamato generazione di feedback di revisione a livello di segmento condizionata alla prospettiva, in cui il modello è tenuto a produrre un singolo commento focalizzato basandosi sul documento completo e su una prospettiva specificata, come esperimenti e scrittura. Costruiamo inoltre un ampio dataset denominato RMR-75K che mappa i segmenti di revisione ai segmenti di replica che li affrontano, con etichette di prospettiva e categorie di impatto che ordinano l'adozione da parte dell'autore. Addestriamo quindi il modello Llama-3.1-8B-Instruct con fine-tuning supervisionato sui segmenti di revisione, seguito da un'ottimizzazione delle preferenze utilizzando coppie derivate dalle repliche. Esperimenti con esperti umani e LLM-come-giudice mostrano miglioramenti consistenti in termini di azionabilità e specificità rispetto a baseline solide, mantenendo al contempo l'ancoraggio alla realtà e la rilevanza.

English

Large language models (LLMs) are increasingly used across the scientific workflow, including to draft peer-review reports. However, many AI-generated reviews are superficial and insufficiently actionable, leaving authors without concrete, implementable guidance and motivating the gap this work addresses. We propose RbtAct, which targets actionable review feedback generation and places existing peer review rebuttal at the center of learning. Rebuttals show which reviewer comments led to concrete revisions or specific plans, and which were only defended. Building on this insight, we leverage rebuttal as implicit supervision to directly optimize a feedback generator for actionability. To support this objective, we propose a new task called perspective-conditioned segment-level review feedback generation, in which the model is required to produce a single focused comment based on the complete paper and a specified perspective such as experiments and writing. We also build a large dataset named RMR-75K that maps review segments to the rebuttal segments that address them, with perspective labels and impact categories that order author uptake. We then train the Llama-3.1-8B-Instruct model with supervised fine-tuning on review segments followed by preference optimization using rebuttal derived pairs. Experiments with human experts and LLM-as-a-judge show consistent gains in actionability and specificity over strong baselines while maintaining grounding and relevance.