ToMAP: Обучение LLM-убеждающих с учетом оппонента через теорию разума

ToMAP: Training Opponent-Aware LLM Persuaders with Theory of Mind

May 29, 2025

Авторы: Peixuan Han, Zijia Liu, Jiaxuan You

cs.AI

Аннотация

Крупные языковые модели (LLMs) демонстрируют перспективный потенциал в убеждении, однако существующие работы по обучению LLM-убеждающих агентов остаются предварительными. В частности, хотя люди обладают навыками активного и динамичного моделирования мыслей и мнений оппонента, современные LLM испытывают трудности с таким рассуждением, основанным на теории сознания (Theory of Mind, ToM), что приводит к ограниченному разнообразию и осведомленности о позиции оппонента. Для устранения этого ограничения мы представляем подход Theory of Mind Augmented Persuader (ToMAP), который позволяет создавать более гибких убеждающих агентов за счет включения двух модулей теории сознания, повышающих осведомленность и анализ ментального состояния оппонента. В частности, мы начинаем с того, что побуждаем убеждающего агента рассмотреть возможные возражения против целевого основного утверждения, а затем используем текстовый кодировщик в сочетании с обученным классификатором на основе MLP для предсказания текущей позиции оппонента по этим контраргументам. Наша тщательно разработанная схема обучения с подкреплением позволяет агенту научиться анализировать информацию, связанную с оппонентом, и использовать ее для генерации более эффективных аргументов. Эксперименты показывают, что убеждающий агент ToMAP, содержащий всего 3 миллиарда параметров, превосходит значительно более крупные базовые модели, такие как GPT-4o, с относительным приростом в 39,4% на множестве моделей убеждаемых и различных корпусов. Важно отметить, что ToMAP демонстрирует сложные цепочки рассуждений и снижение повторений в процессе обучения, что приводит к более разнообразным и эффективным аргументам. Функция осведомленности об оппоненте также делает ToMAP подходящим для длительных диалогов и позволяет ему использовать более логичные и учитывающие позицию оппонента стратегии. Эти результаты подчеркивают эффективность нашего метода и выделяют его потенциал для разработки более убедительных языковых агентов. Код доступен по адресу: https://github.com/ulab-uiuc/ToMAP.

English

Large language models (LLMs) have shown promising potential in persuasion, but existing works on training LLM persuaders are still preliminary. Notably, while humans are skilled in modeling their opponent's thoughts and opinions proactively and dynamically, current LLMs struggle with such Theory of Mind (ToM) reasoning, resulting in limited diversity and opponent awareness. To address this limitation, we introduce Theory of Mind Augmented Persuader (ToMAP), a novel approach for building more flexible persuader agents by incorporating two theory of mind modules that enhance the persuader's awareness and analysis of the opponent's mental state. Specifically, we begin by prompting the persuader to consider possible objections to the target central claim, and then use a text encoder paired with a trained MLP classifier to predict the opponent's current stance on these counterclaims. Our carefully designed reinforcement learning schema enables the persuader learns how to analyze opponent-related information and utilize it to generate more effective arguments. Experiments show that the ToMAP persuader, while containing only 3B parameters, outperforms much larger baselines, like GPT-4o, with a relative gain of 39.4% across multiple persuadee models and diverse corpora. Notably, ToMAP exhibits complex reasoning chains and reduced repetition during training, which leads to more diverse and effective arguments. The opponent-aware feature of ToMAP also makes it suitable for long conversations and enables it to employ more logical and opponent-aware strategies. These results underscore our method's effectiveness and highlight its potential for developing more persuasive language agents. Code is available at: https://github.com/ulab-uiuc/ToMAP.