ToMAP: Addestramento di Persuasori LLM Consapevoli dell'Avversario con Teoria della Mente

ToMAP: Training Opponent-Aware LLM Persuaders with Theory of Mind

May 29, 2025

Autori: Peixuan Han, Zijia Liu, Jiaxuan You

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) hanno dimostrato un potenziale promettente nella persuasione, ma i lavori esistenti sull'addestramento di persuasori basati su LLM sono ancora preliminari. In particolare, mentre gli esseri umani sono abili nel modellare in modo proattivo e dinamico i pensieri e le opinioni dell'avversario, gli attuali LLM faticano con questo tipo di ragionamento basato sulla Teoria della Mente (ToM), risultando in una diversità limitata e una scarsa consapevolezza dell'avversario. Per affrontare questa limitazione, introduciamo il Persuader Aumentato dalla Teoria della Mente (ToMAP), un approccio innovativo per costruire agenti persuasori più flessibili incorporando due moduli di teoria della mente che migliorano la consapevolezza e l'analisi dello stato mentale dell'avversario. Nello specifico, iniziamo sollecitando il persuasore a considerare possibili obiezioni alla tesi centrale, e poi utilizziamo un encoder di testo accoppiato a un classificatore MLP addestrato per prevedere la posizione attuale dell'avversario su queste controargomentazioni. Il nostro schema di apprendimento per rinforzo, progettato con cura, consente al persuasore di imparare come analizzare le informazioni relative all'avversario e utilizzarle per generare argomentazioni più efficaci. Gli esperimenti mostrano che il persuasore ToMAP, pur contenendo solo 3 miliardi di parametri, supera baseline molto più grandi, come GPT-4o, con un guadagno relativo del 39,4% su più modelli di persuasi e corpora diversi. In particolare, ToMAP mostra catene di ragionamento complesse e una riduzione della ripetizione durante l'addestramento, il che porta a argomentazioni più diversificate ed efficaci. La caratteristica di consapevolezza dell'avversario di ToMAP lo rende anche adatto a conversazioni lunghe e gli permette di impiegare strategie più logiche e consapevoli dell'avversario. Questi risultati sottolineano l'efficacia del nostro metodo e ne evidenziano il potenziale per sviluppare agenti linguistici più persuasivi. Il codice è disponibile all'indirizzo: https://github.com/ulab-uiuc/ToMAP.

English

Large language models (LLMs) have shown promising potential in persuasion, but existing works on training LLM persuaders are still preliminary. Notably, while humans are skilled in modeling their opponent's thoughts and opinions proactively and dynamically, current LLMs struggle with such Theory of Mind (ToM) reasoning, resulting in limited diversity and opponent awareness. To address this limitation, we introduce Theory of Mind Augmented Persuader (ToMAP), a novel approach for building more flexible persuader agents by incorporating two theory of mind modules that enhance the persuader's awareness and analysis of the opponent's mental state. Specifically, we begin by prompting the persuader to consider possible objections to the target central claim, and then use a text encoder paired with a trained MLP classifier to predict the opponent's current stance on these counterclaims. Our carefully designed reinforcement learning schema enables the persuader learns how to analyze opponent-related information and utilize it to generate more effective arguments. Experiments show that the ToMAP persuader, while containing only 3B parameters, outperforms much larger baselines, like GPT-4o, with a relative gain of 39.4% across multiple persuadee models and diverse corpora. Notably, ToMAP exhibits complex reasoning chains and reduced repetition during training, which leads to more diverse and effective arguments. The opponent-aware feature of ToMAP also makes it suitable for long conversations and enables it to employ more logical and opponent-aware strategies. These results underscore our method's effectiveness and highlight its potential for developing more persuasive language agents. Code is available at: https://github.com/ulab-uiuc/ToMAP.