ToMAP: Training van tegenstander-bewuste LLM-overtuigers met Theory of Mind

ToMAP: Training Opponent-Aware LLM Persuaders with Theory of Mind

May 29, 2025

Auteurs: Peixuan Han, Zijia Liu, Jiaxuan You

cs.AI

Samenvatting

Grote taalmodellen (LLMs) hebben veelbelovend potentieel getoond in overtuiging, maar bestaande werken over het trainen van LLM-overtuigers zijn nog voorlopig. Opmerkelijk is dat, terwijl mensen bedreven zijn in het proactief en dynamisch modelleren van de gedachten en meningen van hun tegenstander, huidige LLMs moeite hebben met dergelijke Theory of Mind (ToM)-redenering, wat resulteert in beperkte diversiteit en bewustzijn van de tegenstander. Om deze beperking aan te pakken, introduceren we Theory of Mind Augmented Persuader (ToMAP), een nieuwe benadering voor het bouwen van flexibelere overtuigingsagenten door het incorporeren van twee Theory of Mind-modules die het bewustzijn en de analyse van de mentale toestand van de tegenstander verbeteren. Specifiek beginnen we door de overtuiger te stimuleren om mogelijke bezwaren tegen de centrale claim te overwegen, en gebruiken vervolgens een tekstencoder in combinatie met een getrainde MLP-classificator om de huidige standpunt van de tegenstander over deze tegenclaims te voorspellen. Ons zorgvuldig ontworpen reinforcement learning-schema stelt de overtuiger in staat om te leren hoe hij tegenstander-gerelateerde informatie kan analyseren en gebruiken om effectievere argumenten te genereren. Experimenten tonen aan dat de ToMAP-overtuiger, hoewel deze slechts 3B parameters bevat, veel grotere baselines, zoals GPT-4o, overtreft met een relatieve winst van 39,4% over meerdere overtuigingsmodellen en diverse corpora. Opmerkelijk is dat ToMAP complexe redeneerketens en verminderde herhaling tijdens de training vertoont, wat leidt tot meer diverse en effectieve argumenten. Het tegenstander-bewuste kenmerk van ToMAP maakt het ook geschikt voor lange gesprekken en stelt het in staat om meer logische en tegenstander-bewuste strategieën te hanteren. Deze resultaten onderstrepen de effectiviteit van onze methode en benadrukken het potentieel voor het ontwikkelen van meer overtuigende taalagenten. Code is beschikbaar op: https://github.com/ulab-uiuc/ToMAP.

English

Large language models (LLMs) have shown promising potential in persuasion, but existing works on training LLM persuaders are still preliminary. Notably, while humans are skilled in modeling their opponent's thoughts and opinions proactively and dynamically, current LLMs struggle with such Theory of Mind (ToM) reasoning, resulting in limited diversity and opponent awareness. To address this limitation, we introduce Theory of Mind Augmented Persuader (ToMAP), a novel approach for building more flexible persuader agents by incorporating two theory of mind modules that enhance the persuader's awareness and analysis of the opponent's mental state. Specifically, we begin by prompting the persuader to consider possible objections to the target central claim, and then use a text encoder paired with a trained MLP classifier to predict the opponent's current stance on these counterclaims. Our carefully designed reinforcement learning schema enables the persuader learns how to analyze opponent-related information and utilize it to generate more effective arguments. Experiments show that the ToMAP persuader, while containing only 3B parameters, outperforms much larger baselines, like GPT-4o, with a relative gain of 39.4% across multiple persuadee models and diverse corpora. Notably, ToMAP exhibits complex reasoning chains and reduced repetition during training, which leads to more diverse and effective arguments. The opponent-aware feature of ToMAP also makes it suitable for long conversations and enables it to employ more logical and opponent-aware strategies. These results underscore our method's effectiveness and highlight its potential for developing more persuasive language agents. Code is available at: https://github.com/ulab-uiuc/ToMAP.