Dansen in Ketens: Strategische Overtuiging in Academische Wederlegging via Theory of Mind

Dancing in Chains: Strategic Persuasion in Academic Rebuttal via Theory of Mind

January 22, 2026

Auteurs: Zhitao He, Zongwei Lyu, Yi R Fung

cs.AI

Samenvatting

Hoewel kunstmatige intelligentie (KI) diep is geïntegreerd in diverse fasen van de onderzoeksworkflow en opmerkelijke vooruitgang heeft geboekt, blijft academische weerlegging een significante en onderbelichte uitdaging. Dit komt doordat weerlegging een complex proces van strategische communicatie is onder ernstige informatie-asymmetrie, in plaats van een eenvoudig technisch debat. Als gevolg hiervan worstelen huidige benaderingen, omdat ze voornamelijk oppervlakkige linguïstiek imiteren en het essentiële element van perspectiefinneming dat nodig is voor effectieve overreding missen. In dit artikel introduceren we RebuttalAgent, het eerste raamwerk dat academische weerlegging verankert in de Theory of Mind (ToM), geoperationaliseerd via een ToM-Strategie-Respons (TSR)-pijplijn die de mentale staat van de reviewer modelleert, een overredingsstrategie formuleert en een op strategie gebaseerd antwoord genereert. Om onze agent te trainen, construeren we RebuttalBench, een grootschalige dataset gesynthetiseerd via een nieuwe kritiek-en-verfijn-aanpak. Ons trainingsproces bestaat uit twee fasen, beginnend met een supervised fine-tuning fase om de agent te voorzien van ToM-gebaseerde analyse- en strategische planningscapaciteiten, gevolgd door een reinforcement learning fase die gebruikmaakt van het zelfbeloningsmechanisme voor schaalbare zelfverbetering. Voor betrouwbare en efficiënte geautomatiseerde evaluatie ontwikkelen we verder Rebuttal-RM, een gespecialiseerde beoordelaar getraind op meer dan 100K samples van multi-bron weerleggingsdata, die een scoreconsistentie met menselijke voorkeuren bereikt die de krachtige beoordelaar GPT-4.1 overtreft. Uitgebreide experimenten tonen aan dat RebuttalAgent de basis-model significant overtreft met gemiddeld 18.3% op geautomatiseerde metrieken, terwijl het ook geavanceerde propriëtaire modellen overtreft in zowel geautomatiseerde als menselijke evaluaties. Disclaimer: de gegenereerde weerleggingsinhoud is alleen bedoeld als referentie om auteurs te inspireren en te assisteren bij het opstellen. Het is niet bedoeld om de eigen kritische analyse en reactie van de auteur te vervangen.

English

Although artificial intelligence (AI) has become deeply integrated into various stages of the research workflow and achieved remarkable advancements, academic rebuttal remains a significant and underexplored challenge. This is because rebuttal is a complex process of strategic communication under severe information asymmetry rather than a simple technical debate. Consequently, current approaches struggle as they largely imitate surface-level linguistics, missing the essential element of perspective-taking required for effective persuasion. In this paper, we introduce RebuttalAgent, the first framework to ground academic rebuttal in Theory of Mind (ToM), operationalized through a ToM-Strategy-Response (TSR) pipeline that models reviewer mental state, formulates persuasion strategy, and generates strategy-grounded response. To train our agent, we construct RebuttalBench, a large-scale dataset synthesized via a novel critique-and-refine approach. Our training process consists of two stages, beginning with a supervised fine-tuning phase to equip the agent with ToM-based analysis and strategic planning capabilities, followed by a reinforcement learning phase leveraging the self-reward mechanism for scalable self-improvement. For reliable and efficient automated evaluation, we further develop Rebuttal-RM, a specialized evaluator trained on over 100K samples of multi-source rebuttal data, which achieves scoring consistency with human preferences surpassing powerful judge GPT-4.1. Extensive experiments show RebuttalAgent significantly outperforms the base model by an average of 18.3% on automated metrics, while also outperforming advanced proprietary models across both automated and human evaluations. Disclaimer: the generated rebuttal content is for reference only to inspire authors and assist in drafting. It is not intended to replace the author's own critical analysis and response.