ToMAP: Treinando Persuadores de LLM Conscientes do Oponente com Teoria da Mente

ToMAP: Training Opponent-Aware LLM Persuaders with Theory of Mind

May 29, 2025

Autores: Peixuan Han, Zijia Liu, Jiaxuan You

cs.AI

Resumo

Modelos de linguagem de grande escala (LLMs) têm demonstrado um potencial promissor em persuasão, mas os trabalhos existentes sobre o treinamento de persuasores baseados em LLMs ainda são preliminares. Notavelmente, enquanto os humanos são habilidosos em modelar proativamente e dinamicamente os pensamentos e opiniões de seus oponentes, os LLMs atuais lutam com esse tipo de raciocínio de Teoria da Mente (ToM), resultando em diversidade limitada e consciência do oponente. Para abordar essa limitação, introduzimos o Persuader Aumentado por Teoria da Mente (ToMAP), uma abordagem inovadora para construir agentes persuasores mais flexíveis, incorporando dois módulos de teoria da mente que aprimoram a consciência e a análise do estado mental do oponente. Especificamente, começamos solicitando que o persuasor considere possíveis objeções à afirmação central alvo e, em seguida, usamos um codificador de texto emparelhado com um classificador MLP treinado para prever a posição atual do oponente em relação a essas contra-argumentações. Nosso esquema de aprendizado por reforço cuidadosamente projetado permite que o persuasor aprenda a analisar informações relacionadas ao oponente e as utilize para gerar argumentos mais eficazes. Experimentos mostram que o persuasor ToMAP, embora contenha apenas 3 bilhões de parâmetros, supera baselines muito maiores, como o GPT-4, com um ganho relativo de 39,4% em vários modelos de persuasão e corpora diversos. Notavelmente, o ToMAP exibe cadeias de raciocínio complexas e repetição reduzida durante o treinamento, o que leva a argumentos mais diversos e eficazes. A característica de consciência do oponente do ToMAP também o torna adequado para conversas longas e permite que ele empregue estratégias mais lógicas e conscientes do oponente. Esses resultados destacam a eficácia do nosso método e seu potencial para desenvolver agentes de linguagem mais persuasivos. O código está disponível em: https://github.com/ulab-uiuc/ToMAP.

English

Large language models (LLMs) have shown promising potential in persuasion, but existing works on training LLM persuaders are still preliminary. Notably, while humans are skilled in modeling their opponent's thoughts and opinions proactively and dynamically, current LLMs struggle with such Theory of Mind (ToM) reasoning, resulting in limited diversity and opponent awareness. To address this limitation, we introduce Theory of Mind Augmented Persuader (ToMAP), a novel approach for building more flexible persuader agents by incorporating two theory of mind modules that enhance the persuader's awareness and analysis of the opponent's mental state. Specifically, we begin by prompting the persuader to consider possible objections to the target central claim, and then use a text encoder paired with a trained MLP classifier to predict the opponent's current stance on these counterclaims. Our carefully designed reinforcement learning schema enables the persuader learns how to analyze opponent-related information and utilize it to generate more effective arguments. Experiments show that the ToMAP persuader, while containing only 3B parameters, outperforms much larger baselines, like GPT-4o, with a relative gain of 39.4% across multiple persuadee models and diverse corpora. Notably, ToMAP exhibits complex reasoning chains and reduced repetition during training, which leads to more diverse and effective arguments. The opponent-aware feature of ToMAP also makes it suitable for long conversations and enables it to employ more logical and opponent-aware strategies. These results underscore our method's effectiveness and highlight its potential for developing more persuasive language agents. Code is available at: https://github.com/ulab-uiuc/ToMAP.