EmoAgent: Avaliando e Protegendo a Interação Humano-IA para a Segurança em Saúde Mental

EmoAgent: Assessing and Safeguarding Human-AI Interaction for Mental Health Safety

April 13, 2025

Autores: Jiahao Qiu, Yinghui He, Xinzhe Juan, Yiming Wang, Yuhan Liu, Zixin Yao, Yue Wu, Xun Jiang, Ling Yang, Mengdi Wang

cs.AI

Resumo

O surgimento de personagens de IA impulsionados por LLMs (Large Language Models) levanta preocupações de segurança, especialmente para usuários humanos vulneráveis com transtornos psicológicos. Para abordar esses riscos, propomos o EmoAgent, uma estrutura de IA multiagente projetada para avaliar e mitigar perigos à saúde mental em interações humano-IA. O EmoAgent é composto por dois componentes: o EmoEval simula usuários virtuais, incluindo aqueles que retratam indivíduos mentalmente vulneráveis, para avaliar mudanças na saúde mental antes e depois das interações com personagens de IA. Ele utiliza ferramentas de avaliação psicológica e psiquiátrica clinicamente comprovadas (PHQ-9, PDI, PANSS) para avaliar os riscos mentais induzidos por LLMs. O EmoGuard atua como um intermediário, monitorando o estado mental dos usuários, prevendo possíveis danos e fornecendo feedback corretivo para mitigar riscos. Experimentos realizados em chatbots populares baseados em personagens mostram que diálogos emocionalmente envolventes podem levar à deterioração psicológica em usuários vulneráveis, com deterioração do estado mental em mais de 34,4% das simulações. O EmoGuard reduz significativamente essas taxas de deterioração, destacando seu papel em garantir interações humano-IA mais seguras. Nosso código está disponível em: https://github.com/1akaman/EmoAgent.

English

The rise of LLM-driven AI characters raises safety concerns, particularly for vulnerable human users with psychological disorders. To address these risks, we propose EmoAgent, a multi-agent AI framework designed to evaluate and mitigate mental health hazards in human-AI interactions. EmoAgent comprises two components: EmoEval simulates virtual users, including those portraying mentally vulnerable individuals, to assess mental health changes before and after interactions with AI characters. It uses clinically proven psychological and psychiatric assessment tools (PHQ-9, PDI, PANSS) to evaluate mental risks induced by LLM. EmoGuard serves as an intermediary, monitoring users' mental status, predicting potential harm, and providing corrective feedback to mitigate risks. Experiments conducted in popular character-based chatbots show that emotionally engaging dialogues can lead to psychological deterioration in vulnerable users, with mental state deterioration in more than 34.4% of the simulations. EmoGuard significantly reduces these deterioration rates, underscoring its role in ensuring safer AI-human interactions. Our code is available at: https://github.com/1akaman/EmoAgent