EmoAgent : Évaluation et protection des interactions humain-IA pour la sécurité en santé mentale

EmoAgent: Assessing and Safeguarding Human-AI Interaction for Mental Health Safety

April 13, 2025

Auteurs: Jiahao Qiu, Yinghui He, Xinzhe Juan, Yiming Wang, Yuhan Liu, Zixin Yao, Yue Wu, Xun Jiang, Ling Yang, Mengdi Wang

cs.AI

Résumé

L'essor des personnages IA pilotés par des LLM soulève des préoccupations en matière de sécurité, en particulier pour les utilisateurs humains vulnérables souffrant de troubles psychologiques. Pour répondre à ces risques, nous proposons EmoAgent, un cadre d'IA multi-agents conçu pour évaluer et atténuer les dangers pour la santé mentale dans les interactions humain-IA. EmoAgent se compose de deux éléments : EmoEval simule des utilisateurs virtuels, y compris ceux représentant des individus psychologiquement vulnérables, afin d'évaluer les changements de santé mentale avant et après les interactions avec des personnages IA. Il utilise des outils d'évaluation psychologique et psychiatrique cliniquement validés (PHQ-9, PDI, PANSS) pour évaluer les risques mentaux induits par les LLM. EmoGuard sert d'intermédiaire, surveillant l'état mental des utilisateurs, prédisant les dommages potentiels et fournissant des retours correctifs pour atténuer les risques. Des expériences menées sur des chatbots populaires basés sur des personnages montrent que des dialogues émotionnellement engageants peuvent entraîner une détérioration psychologique chez les utilisateurs vulnérables, avec une détérioration de l'état mental dans plus de 34,4 % des simulations. EmoGuard réduit significativement ces taux de détérioration, soulignant son rôle dans la garantie d'interactions IA-humain plus sûres. Notre code est disponible à l'adresse : https://github.com/1akaman/EmoAgent

English

The rise of LLM-driven AI characters raises safety concerns, particularly for vulnerable human users with psychological disorders. To address these risks, we propose EmoAgent, a multi-agent AI framework designed to evaluate and mitigate mental health hazards in human-AI interactions. EmoAgent comprises two components: EmoEval simulates virtual users, including those portraying mentally vulnerable individuals, to assess mental health changes before and after interactions with AI characters. It uses clinically proven psychological and psychiatric assessment tools (PHQ-9, PDI, PANSS) to evaluate mental risks induced by LLM. EmoGuard serves as an intermediary, monitoring users' mental status, predicting potential harm, and providing corrective feedback to mitigate risks. Experiments conducted in popular character-based chatbots show that emotionally engaging dialogues can lead to psychological deterioration in vulnerable users, with mental state deterioration in more than 34.4% of the simulations. EmoGuard significantly reduces these deterioration rates, underscoring its role in ensuring safer AI-human interactions. Our code is available at: https://github.com/1akaman/EmoAgent