ToMAP: 마음 이론을 활용한 상대방 인식형 LLM 설득자 훈련

ToMAP: Training Opponent-Aware LLM Persuaders with Theory of Mind

May 29, 2025

저자: Peixuan Han, Zijia Liu, Jiaxuan You

cs.AI

초록

대형 언어 모델(LLM)은 설득 분야에서 유망한 잠재력을 보여주고 있지만, LLM 설득자를 훈련시키는 기존 연구들은 아직 초기 단계에 머물러 있습니다. 특히, 인간은 상대방의 생각과 의견을 능동적이고 동적으로 모델링하는 데 능숙한 반면, 현재의 LLM은 이러한 마음 이론(Theory of Mind, ToM) 추론에 어려움을 겪어 다양성과 상대방 인식이 제한적입니다. 이러한 한계를 해결하기 위해, 우리는 두 개의 마음 이론 모듈을 통합하여 설득자의 상대방 정신 상태에 대한 인식과 분석을 강화하는 더 유연한 설득자 에이전트를 구축하기 위한 새로운 접근 방식인 Theory of Mind Augmented Persuader(ToMAP)를 소개합니다. 구체적으로, 우리는 먼저 설득자가 목표 중심 주장에 대한 가능한 반론을 고려하도록 프롬프트를 제공한 다음, 텍스트 인코더와 훈련된 MLP 분류기를 사용하여 상대방이 이러한 반론에 대해 현재 어떤 입장을 취하고 있는지 예측합니다. 우리가 신중하게 설계한 강화 학습 스키마는 설득자가 상대방 관련 정보를 분석하고 이를 활용하여 더 효과적인 주장을 생성하는 방법을 학습할 수 있도록 합니다. 실험 결과, ToMAP 설득자는 단 30억 개의 파라미터만을 포함함에도 불구하고 GPT-4o와 같은 훨씬 더 큰 베이스라인 모델들을 능가하며, 다양한 설득 대상 모델과 코퍼스에서 39.4%의 상대적 성능 향상을 보였습니다. 특히, ToMAP은 복잡한 추론 체인과 훈련 중 반복 감소를 보여주어 더 다양하고 효과적인 주장을 생성합니다. ToMAP의 상대방 인식 기능은 또한 장기 대화에 적합하며, 더 논리적이고 상대방을 고려한 전략을 사용할 수 있게 합니다. 이러한 결과는 우리 방법의 효과성을 입증하고, 더 설득력 있는 언어 에이전트 개발을 위한 잠재력을 강조합니다. 코드는 https://github.com/ulab-uiuc/ToMAP에서 확인할 수 있습니다.

English

Large language models (LLMs) have shown promising potential in persuasion, but existing works on training LLM persuaders are still preliminary. Notably, while humans are skilled in modeling their opponent's thoughts and opinions proactively and dynamically, current LLMs struggle with such Theory of Mind (ToM) reasoning, resulting in limited diversity and opponent awareness. To address this limitation, we introduce Theory of Mind Augmented Persuader (ToMAP), a novel approach for building more flexible persuader agents by incorporating two theory of mind modules that enhance the persuader's awareness and analysis of the opponent's mental state. Specifically, we begin by prompting the persuader to consider possible objections to the target central claim, and then use a text encoder paired with a trained MLP classifier to predict the opponent's current stance on these counterclaims. Our carefully designed reinforcement learning schema enables the persuader learns how to analyze opponent-related information and utilize it to generate more effective arguments. Experiments show that the ToMAP persuader, while containing only 3B parameters, outperforms much larger baselines, like GPT-4o, with a relative gain of 39.4% across multiple persuadee models and diverse corpora. Notably, ToMAP exhibits complex reasoning chains and reduced repetition during training, which leads to more diverse and effective arguments. The opponent-aware feature of ToMAP also makes it suitable for long conversations and enables it to employ more logical and opponent-aware strategies. These results underscore our method's effectiveness and highlight its potential for developing more persuasive language agents. Code is available at: https://github.com/ulab-uiuc/ToMAP.