EmoAgent: Beoordeling en Bescherming van Mens-AI Interactie voor Mentale Gezondheidsveiligheid

EmoAgent: Assessing and Safeguarding Human-AI Interaction for Mental Health Safety

April 13, 2025

Auteurs: Jiahao Qiu, Yinghui He, Xinzhe Juan, Yiming Wang, Yuhan Liu, Zixin Yao, Yue Wu, Xun Jiang, Ling Yang, Mengdi Wang

cs.AI

Samenvatting

De opkomst van LLM-gestuurde AI-personages roept veiligheidszorgen op, met name voor kwetsbare menselijke gebruikers met psychologische stoornissen. Om deze risico's aan te pakken, stellen we EmoAgent voor, een multi-agent AI-framework dat is ontworpen om mentale gezondheidsrisico's in mens-AI-interacties te evalueren en te beperken. EmoAgent bestaat uit twee componenten: EmoEval simuleert virtuele gebruikers, inclusief diegenen die mentaal kwetsbare individuen uitbeelden, om veranderingen in de mentale gezondheid voor en na interacties met AI-personages te beoordelen. Het maakt gebruik van klinisch bewezen psychologische en psychiatrische beoordelingsinstrumenten (PHQ-9, PDI, PANSS) om mentale risico's die door LLM worden veroorzaakt te evalueren. EmoGuard fungeert als intermediair, houdt de mentale status van gebruikers in de gaten, voorspelt mogelijke schade en biedt corrigerende feedback om risico's te beperken. Experimenten uitgevoerd in populaire karaktergebaseerde chatbots tonen aan dat emotioneel betrokken dialogen kunnen leiden tot psychologische achteruitgang bij kwetsbare gebruikers, met een verslechtering van de mentale toestand in meer dan 34,4% van de simulaties. EmoGuard vermindert deze verslechteringspercentages aanzienlijk, wat zijn rol bij het waarborgen van veiligere AI-mens-interacties onderstreept. Onze code is beschikbaar op: https://github.com/1akaman/EmoAgent

English

The rise of LLM-driven AI characters raises safety concerns, particularly for vulnerable human users with psychological disorders. To address these risks, we propose EmoAgent, a multi-agent AI framework designed to evaluate and mitigate mental health hazards in human-AI interactions. EmoAgent comprises two components: EmoEval simulates virtual users, including those portraying mentally vulnerable individuals, to assess mental health changes before and after interactions with AI characters. It uses clinically proven psychological and psychiatric assessment tools (PHQ-9, PDI, PANSS) to evaluate mental risks induced by LLM. EmoGuard serves as an intermediary, monitoring users' mental status, predicting potential harm, and providing corrective feedback to mitigate risks. Experiments conducted in popular character-based chatbots show that emotionally engaging dialogues can lead to psychological deterioration in vulnerable users, with mental state deterioration in more than 34.4% of the simulations. EmoGuard significantly reduces these deterioration rates, underscoring its role in ensuring safer AI-human interactions. Our code is available at: https://github.com/1akaman/EmoAgent