EmoAgent: Bewertung und Sicherung der Mensch-KI-Interaktion für die psychische Gesundheitssicherheit

EmoAgent: Assessing and Safeguarding Human-AI Interaction for Mental Health Safety

April 13, 2025

Autoren: Jiahao Qiu, Yinghui He, Xinzhe Juan, Yiming Wang, Yuhan Liu, Zixin Yao, Yue Wu, Xun Jiang, Ling Yang, Mengdi Wang

cs.AI

Zusammenfassung

Der Aufstieg von KI-Charakteren, die durch große Sprachmodelle (LLMs) angetrieben werden, wirft Sicherheitsbedenken auf, insbesondere für vulnerable menschliche Nutzer mit psychischen Störungen. Um diese Risiken zu adressieren, schlagen wir EmoAgent vor, ein Multi-Agenten-KI-Framework, das entwickelt wurde, um psychische Gesundheitsgefahren in Mensch-KI-Interaktionen zu bewerten und zu mindern. EmoAgent besteht aus zwei Komponenten: EmoEval simuliert virtuelle Nutzer, einschließlich solcher, die psychisch vulnerable Personen darstellen, um Veränderungen der psychischen Gesundheit vor und nach Interaktionen mit KI-Charakteren zu bewerten. Es verwendet klinisch bewährte psychologische und psychiatrische Bewertungswerkzeuge (PHQ-9, PDI, PANSS), um mentale Risiken zu evaluieren, die durch LLMs induziert werden. EmoGuard fungiert als Vermittler, überwacht den mentalen Status der Nutzer, sagt potenzielle Schäden voraus und bietet korrektives Feedback, um Risiken zu mindern. Experimente, die in beliebten charakterbasierten Chatbots durchgeführt wurden, zeigen, dass emotional ansprechende Dialoge bei vulnerablen Nutzern zu einer psychischen Verschlechterung führen können, wobei in mehr als 34,4 % der Simulationen eine Verschlechterung des mentalen Zustands festgestellt wurde. EmoGuard reduziert diese Verschlechterungsraten signifikant, was seine Rolle bei der Sicherstellung sicherer KI-Mensch-Interaktionen unterstreicht. Unser Code ist verfügbar unter: https://github.com/1akaman/EmoAgent.

English

The rise of LLM-driven AI characters raises safety concerns, particularly for vulnerable human users with psychological disorders. To address these risks, we propose EmoAgent, a multi-agent AI framework designed to evaluate and mitigate mental health hazards in human-AI interactions. EmoAgent comprises two components: EmoEval simulates virtual users, including those portraying mentally vulnerable individuals, to assess mental health changes before and after interactions with AI characters. It uses clinically proven psychological and psychiatric assessment tools (PHQ-9, PDI, PANSS) to evaluate mental risks induced by LLM. EmoGuard serves as an intermediary, monitoring users' mental status, predicting potential harm, and providing corrective feedback to mitigate risks. Experiments conducted in popular character-based chatbots show that emotionally engaging dialogues can lead to psychological deterioration in vulnerable users, with mental state deterioration in more than 34.4% of the simulations. EmoGuard significantly reduces these deterioration rates, underscoring its role in ensuring safer AI-human interactions. Our code is available at: https://github.com/1akaman/EmoAgent