Динамика убеждения в языковых моделях: исследование устойчивости и адаптивности знаний и безопасности с использованием DuET-PD

Persuasion Dynamics in LLMs: Investigating Robustness and Adaptability in Knowledge and Safety with DuET-PD

August 24, 2025

Авторы: Bryan Chen Zhengyu Tan, Daniel Wai Kit Chin, Zhengyuan Liu, Nancy F. Chen, Roy Ka-Wei Lee

cs.AI

Аннотация

Крупные языковые модели (LLM) могут испытывать трудности с балансированием между доверчивостью к дезинформации и устойчивостью к обоснованным исправлениям в убедительных диалогах, что представляет собой критическую проблему для их надежного применения. Мы представляем DuET-PD (Dual Evaluation for Trust in Persuasive Dialogues) — фреймворк для оценки динамики изменения позиции в многоходовых диалогах по двум измерениям: тип убеждения (корректирующий/вводящий в заблуждение) и область (знания через MMLU-Pro и безопасность через SALAD-Bench). Мы обнаружили, что даже передовая модель, такая как GPT-4o, достигает точности всего 27,32% в MMLU-Pro при постоянном воздействии вводящих в заблуждение убеждений. Более того, результаты выявили тревожную тенденцию роста угодливости в новых моделях с открытым исходным кодом. Для решения этой проблемы мы предлагаем Holistic DPO — подход к обучению, который балансирует примеры положительного и отрицательного убеждения. В отличие от подсказок или обучения только на сопротивлении, Holistic DPO повышает как устойчивость к дезинформации, так и восприимчивость к исправлениям, улучшая точность модели Llama-3.1-8B-Instruct в контекстах безопасности при вводящих в заблуждение убеждениях с 4,21% до 76,54%. Эти разработки открывают путь к созданию более надежных и адаптируемых LLM для многоходовых диалогов. Код доступен по адресу https://github.com/Social-AI-Studio/DuET-PD.

English

Large Language Models (LLMs) can struggle to balance gullibility to misinformation and resistance to valid corrections in persuasive dialogues, a critical challenge for reliable deployment. We introduce DuET-PD (Dual Evaluation for Trust in Persuasive Dialogues), a framework evaluating multi-turn stance-change dynamics across dual dimensions: persuasion type (corrective/misleading) and domain (knowledge via MMLU-Pro, and safety via SALAD-Bench). We find that even a state-of-the-art model like GPT-4o achieves only 27.32% accuracy in MMLU-Pro under sustained misleading persuasions. Moreover, results reveal a concerning trend of increasing sycophancy in newer open-source models. To address this, we introduce Holistic DPO, a training approach balancing positive and negative persuasion examples. Unlike prompting or resist-only training, Holistic DPO enhances both robustness to misinformation and receptiveness to corrections, improving Llama-3.1-8B-Instruct's accuracy under misleading persuasion in safety contexts from 4.21% to 76.54%. These contributions offer a pathway to developing more reliable and adaptable LLMs for multi-turn dialogue. Code is available at https://github.com/Social-AI-Studio/DuET-PD.