ToMAP: Entrenamiento de persuasores basados en LLM conscientes del oponente con Teoría de la Mente

ToMAP: Training Opponent-Aware LLM Persuaders with Theory of Mind

May 29, 2025

Autores: Peixuan Han, Zijia Liu, Jiaxuan You

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han demostrado un potencial prometedor en la persuasión, pero los trabajos existentes sobre el entrenamiento de persuasores basados en LLMs siguen siendo preliminares. En particular, aunque los seres humanos son hábiles para modelar de manera proactiva y dinámica los pensamientos y opiniones de su oponente, los LLMs actuales tienen dificultades con este tipo de razonamiento de Teoría de la Mente (ToM, por sus siglas en inglés), lo que resulta en una diversidad limitada y una escasa conciencia del oponente. Para abordar esta limitación, presentamos Theory of Mind Augmented Persuader (ToMAP), un enfoque novedoso para construir agentes persuasores más flexibles mediante la incorporación de dos módulos de teoría de la mente que mejoran la conciencia y el análisis del estado mental del oponente. Específicamente, comenzamos pidiendo al persuasor que considere posibles objeciones a la afirmación central objetivo, y luego utilizamos un codificador de texto junto con un clasificador MLP entrenado para predecir la postura actual del oponente sobre estos contraargumentos. Nuestro esquema de aprendizaje por refuerzo cuidadosamente diseñado permite que el persuasor aprenda a analizar la información relacionada con el oponente y la utilice para generar argumentos más efectivos. Los experimentos muestran que el persuasor ToMAP, aunque contiene solo 3 mil millones de parámetros, supera a líneas base mucho más grandes, como GPT-4o, con una ganancia relativa del 39.4% en múltiples modelos de persuadidos y diversos corpus. En particular, ToMAP exhibe cadenas de razonamiento complejas y una reducción de la repetición durante el entrenamiento, lo que conduce a argumentos más diversos y efectivos. La característica de conciencia del oponente de ToMAP también lo hace adecuado para conversaciones largas y le permite emplear estrategias más lógicas y conscientes del oponente. Estos resultados subrayan la efectividad de nuestro método y destacan su potencial para desarrollar agentes de lenguaje más persuasivos. El código está disponible en: https://github.com/ulab-uiuc/ToMAP.

English

Large language models (LLMs) have shown promising potential in persuasion, but existing works on training LLM persuaders are still preliminary. Notably, while humans are skilled in modeling their opponent's thoughts and opinions proactively and dynamically, current LLMs struggle with such Theory of Mind (ToM) reasoning, resulting in limited diversity and opponent awareness. To address this limitation, we introduce Theory of Mind Augmented Persuader (ToMAP), a novel approach for building more flexible persuader agents by incorporating two theory of mind modules that enhance the persuader's awareness and analysis of the opponent's mental state. Specifically, we begin by prompting the persuader to consider possible objections to the target central claim, and then use a text encoder paired with a trained MLP classifier to predict the opponent's current stance on these counterclaims. Our carefully designed reinforcement learning schema enables the persuader learns how to analyze opponent-related information and utilize it to generate more effective arguments. Experiments show that the ToMAP persuader, while containing only 3B parameters, outperforms much larger baselines, like GPT-4o, with a relative gain of 39.4% across multiple persuadee models and diverse corpora. Notably, ToMAP exhibits complex reasoning chains and reduced repetition during training, which leads to more diverse and effective arguments. The opponent-aware feature of ToMAP also makes it suitable for long conversations and enables it to employ more logical and opponent-aware strategies. These results underscore our method's effectiveness and highlight its potential for developing more persuasive language agents. Code is available at: https://github.com/ulab-uiuc/ToMAP.