ToMAP: Training von gegnerbewussten LLM-Überzeugern mit Theory of Mind

ToMAP: Training Opponent-Aware LLM Persuaders with Theory of Mind

May 29, 2025

Autoren: Peixuan Han, Zijia Liu, Jiaxuan You

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben vielversprechendes Potenzial in der Überzeugungsarbeit gezeigt, doch bestehende Arbeiten zur Ausbildung von LLM-Überzeugern sind noch vorläufig. Insbesondere sind Menschen geschickt darin, die Gedanken und Meinungen ihres Gegenübers proaktiv und dynamisch zu modellieren, während aktuelle LLMs mit solchen Theory of Mind (ToM)-Schlussfolgerungen kämpfen, was zu begrenzter Vielfalt und mangelndem Bewusstsein für das Gegenüber führt. Um diese Einschränkung zu überwinden, stellen wir den Theory of Mind Augmented Persuader (ToMAP) vor, einen neuartigen Ansatz zur Entwicklung flexiblerer Überzeugungsagenten durch die Integration von zwei Theory of Mind-Modulen, die das Bewusstsein und die Analyse des mentalen Zustands des Gegenübers verbessern. Konkret beginnen wir damit, den Überzeuger dazu anzuregen, mögliche Einwände gegen die zentrale Behauptung zu berücksichtigen, und verwenden dann einen Textencoder in Kombination mit einem trainierten MLP-Klassifikator, um die aktuelle Haltung des Gegenübers zu diesen Gegenargumenten vorherzusagen. Unser sorgfältig entworfenes Reinforcement-Learning-Schema ermöglicht es dem Überzeuger, zu lernen, wie er gegnerbezogene Informationen analysiert und nutzt, um effektivere Argumente zu generieren. Experimente zeigen, dass der ToMAP-Überzeuger, obwohl er nur 3B Parameter enthält, deutlich größere Baselines wie GPT-4o übertrifft, mit einem relativen Gewinn von 39,4 % über mehrere Überzeugungsmodelle und diverse Korpora hinweg. Insbesondere zeigt ToMAP komplexe Argumentationsketten und reduzierte Wiederholungen während des Trainings, was zu vielfältigeren und effektiveren Argumenten führt. Die gegnerbewusste Eigenschaft von ToMAP macht ihn auch für lange Gespräche geeignet und ermöglicht es ihm, logischere und gegnerbewusstere Strategien einzusetzen. Diese Ergebnisse unterstreichen die Wirksamkeit unserer Methode und heben ihr Potenzial für die Entwicklung überzeugenderer Sprachagenten hervor. Der Code ist verfügbar unter: https://github.com/ulab-uiuc/ToMAP.

English

Large language models (LLMs) have shown promising potential in persuasion, but existing works on training LLM persuaders are still preliminary. Notably, while humans are skilled in modeling their opponent's thoughts and opinions proactively and dynamically, current LLMs struggle with such Theory of Mind (ToM) reasoning, resulting in limited diversity and opponent awareness. To address this limitation, we introduce Theory of Mind Augmented Persuader (ToMAP), a novel approach for building more flexible persuader agents by incorporating two theory of mind modules that enhance the persuader's awareness and analysis of the opponent's mental state. Specifically, we begin by prompting the persuader to consider possible objections to the target central claim, and then use a text encoder paired with a trained MLP classifier to predict the opponent's current stance on these counterclaims. Our carefully designed reinforcement learning schema enables the persuader learns how to analyze opponent-related information and utilize it to generate more effective arguments. Experiments show that the ToMAP persuader, while containing only 3B parameters, outperforms much larger baselines, like GPT-4o, with a relative gain of 39.4% across multiple persuadee models and diverse corpora. Notably, ToMAP exhibits complex reasoning chains and reduced repetition during training, which leads to more diverse and effective arguments. The opponent-aware feature of ToMAP also makes it suitable for long conversations and enables it to employ more logical and opponent-aware strategies. These results underscore our method's effectiveness and highlight its potential for developing more persuasive language agents. Code is available at: https://github.com/ulab-uiuc/ToMAP.