ToMAP : Entraînement de persuaders LLM conscients de l'adversaire avec la théorie de l'esprit

ToMAP: Training Opponent-Aware LLM Persuaders with Theory of Mind

May 29, 2025

Auteurs: Peixuan Han, Zijia Liu, Jiaxuan You

cs.AI

Résumé

Les grands modèles de langage (LLM) ont démontré un potentiel prometteur en matière de persuasion, mais les travaux existants sur l'entraînement de persuaders basés sur LLM restent préliminaires. Notamment, bien que les humains soient compétents pour modéliser de manière proactive et dynamique les pensées et opinions de leurs adversaires, les LLM actuels peinent à raisonner selon la Théorie de l'Esprit (ToM), ce qui entraîne une diversité limitée et une faible conscience de l'adversaire. Pour pallier cette limitation, nous introduisons le Persuader Augmenté par la Théorie de l'Esprit (ToMAP), une approche novatrice pour construire des agents persuadeurs plus flexibles en intégrant deux modules de théorie de l'esprit qui améliorent la conscience et l'analyse de l'état mental de l'adversaire. Plus précisément, nous commençons par inciter le persuadeur à considérer les objections possibles à la thèse centrale, puis utilisons un encodeur de texte couplé à un classifieur MLP entraîné pour prédire la position actuelle de l'adversaire sur ces contre-arguments. Notre schéma d'apprentissage par renforcement soigneusement conçu permet au persuadeur d'apprendre à analyser les informations relatives à l'adversaire et à les utiliser pour générer des arguments plus efficaces. Les expériences montrent que le persuadeur ToMAP, bien que ne contenant que 3 milliards de paramètres, surpasse des modèles de référence beaucoup plus grands, comme GPT-4o, avec un gain relatif de 39,4 % sur plusieurs modèles de persuadees et divers corpus. Notamment, ToMAP présente des chaînes de raisonnement complexes et une répétition réduite pendant l'entraînement, ce qui conduit à des arguments plus diversifiés et efficaces. La fonctionnalité de conscience de l'adversaire de ToMAP le rend également adapté aux conversations longues et lui permet d'employer des stratégies plus logiques et conscientes de l'adversaire. Ces résultats soulignent l'efficacité de notre méthode et mettent en évidence son potentiel pour développer des agents de langage plus persuasifs. Le code est disponible à l'adresse suivante : https://github.com/ulab-uiuc/ToMAP.

English

Large language models (LLMs) have shown promising potential in persuasion, but existing works on training LLM persuaders are still preliminary. Notably, while humans are skilled in modeling their opponent's thoughts and opinions proactively and dynamically, current LLMs struggle with such Theory of Mind (ToM) reasoning, resulting in limited diversity and opponent awareness. To address this limitation, we introduce Theory of Mind Augmented Persuader (ToMAP), a novel approach for building more flexible persuader agents by incorporating two theory of mind modules that enhance the persuader's awareness and analysis of the opponent's mental state. Specifically, we begin by prompting the persuader to consider possible objections to the target central claim, and then use a text encoder paired with a trained MLP classifier to predict the opponent's current stance on these counterclaims. Our carefully designed reinforcement learning schema enables the persuader learns how to analyze opponent-related information and utilize it to generate more effective arguments. Experiments show that the ToMAP persuader, while containing only 3B parameters, outperforms much larger baselines, like GPT-4o, with a relative gain of 39.4% across multiple persuadee models and diverse corpora. Notably, ToMAP exhibits complex reasoning chains and reduced repetition during training, which leads to more diverse and effective arguments. The opponent-aware feature of ToMAP also makes it suitable for long conversations and enables it to employ more logical and opponent-aware strategies. These results underscore our method's effectiveness and highlight its potential for developing more persuasive language agents. Code is available at: https://github.com/ulab-uiuc/ToMAP.