RbtAct: Опровержение как форма контроля для генерации действенных отзывов

RbtAct: Rebuttal as Supervision for Actionable Review Feedback Generation

March 10, 2026

Авторы: Sihong Wu, Yiling Ma, Yilun Zhao, Tiansheng Hu, Owen Jiang, Manasi Patwardhan, Arman Cohan

cs.AI

Аннотация

Крупные языковые модели (LLM) все чаще используются на различных этапах научной работы, включая составление рецензий для peer-review. Однако многие обзоры, сгенерированные ИИ, носят поверхностный характер и недостаточно конкретны, что оставляет авторов без четких, реализуемых рекомендаций и обуславливает проблему, которую решает данная работа. Мы предлагаем метод RbtAct, направленный на генерацию практичных рецензий и ставящий существующие ответы авторов (ребатталы) в центр процесса обучения. Ребатталы показывают, какие комментарии рецензентов привели к конкретным правкам или конкретным планам, а какие были лишь оспорены. Основываясь на этом наблюдении, мы используем ребатталы в качестве неявного руководства для прямой оптимизации генератора отзывов на предмет практической ценности. Для решения этой задачи мы предлагаем новую задачу — генерацию сегментированных рецензионных отзывов, обусловленных перспективой, где модель должна создавать единый сфокусированный комментарий на основе полного текста статьи и заданной перспективы, такой как «эксперименты» или «стиль изложения». Мы также создали крупный датасет RMR-75K, который сопоставляет сегменты рецензий с сегментами ребатталов, их адресующими, включая метки перспектив и категории влияния, отражающие степень принятия рекомендаций автором. Затем мы обучили модель Llama-3.1-8B-Instruct с помощью контролируемого тонкого обучения на сегментах рецензий с последующей оптимизацией предпочтений с использованием пар, выведенных из ребатталов. Эксперименты с участием экспертов-людей и оценкой с помощью LLM-судии демонстрируют последовательное улучшение в практической ценности и конкретности по сравнению с сильными базовыми методами при сохранении обоснованности и релевантности.

English

Large language models (LLMs) are increasingly used across the scientific workflow, including to draft peer-review reports. However, many AI-generated reviews are superficial and insufficiently actionable, leaving authors without concrete, implementable guidance and motivating the gap this work addresses. We propose RbtAct, which targets actionable review feedback generation and places existing peer review rebuttal at the center of learning. Rebuttals show which reviewer comments led to concrete revisions or specific plans, and which were only defended. Building on this insight, we leverage rebuttal as implicit supervision to directly optimize a feedback generator for actionability. To support this objective, we propose a new task called perspective-conditioned segment-level review feedback generation, in which the model is required to produce a single focused comment based on the complete paper and a specified perspective such as experiments and writing. We also build a large dataset named RMR-75K that maps review segments to the rebuttal segments that address them, with perspective labels and impact categories that order author uptake. We then train the Llama-3.1-8B-Instruct model with supervised fine-tuning on review segments followed by preference optimization using rebuttal derived pairs. Experiments with human experts and LLM-as-a-judge show consistent gains in actionability and specificity over strong baselines while maintaining grounding and relevance.