EmoAgent: Evaluación y Protección de la Interacción Humano-IA para la Seguridad en Salud Mental

EmoAgent: Assessing and Safeguarding Human-AI Interaction for Mental Health Safety

April 13, 2025

Autores: Jiahao Qiu, Yinghui He, Xinzhe Juan, Yiming Wang, Yuhan Liu, Zixin Yao, Yue Wu, Xun Jiang, Ling Yang, Mengdi Wang

cs.AI

Resumen

El auge de los personajes de IA impulsados por LLM plantea preocupaciones de seguridad, especialmente para usuarios humanos vulnerables con trastornos psicológicos. Para abordar estos riesgos, proponemos EmoAgent, un marco de IA multiagente diseñado para evaluar y mitigar los peligros para la salud mental en las interacciones humano-IA. EmoAgent consta de dos componentes: EmoEval simula usuarios virtuales, incluyendo aquellos que representan individuos mentalmente vulnerables, para evaluar los cambios en la salud mental antes y después de las interacciones con personajes de IA. Utiliza herramientas de evaluación psicológica y psiquiátrica clínicamente probadas (PHQ-9, PDI, PANSS) para evaluar los riesgos mentales inducidos por los LLM. EmoGuard actúa como intermediario, monitoreando el estado mental de los usuarios, prediciendo posibles daños y proporcionando retroalimentación correctiva para mitigar los riesgos. Los experimentos realizados en chatbots populares basados en personajes muestran que los diálogos emocionalmente envolventes pueden llevar a un deterioro psicológico en usuarios vulnerables, con un deterioro del estado mental en más del 34.4% de las simulaciones. EmoGuard reduce significativamente estas tasas de deterioro, destacando su papel en garantizar interacciones más seguras entre humanos y IA. Nuestro código está disponible en: https://github.com/1akaman/EmoAgent

English

The rise of LLM-driven AI characters raises safety concerns, particularly for vulnerable human users with psychological disorders. To address these risks, we propose EmoAgent, a multi-agent AI framework designed to evaluate and mitigate mental health hazards in human-AI interactions. EmoAgent comprises two components: EmoEval simulates virtual users, including those portraying mentally vulnerable individuals, to assess mental health changes before and after interactions with AI characters. It uses clinically proven psychological and psychiatric assessment tools (PHQ-9, PDI, PANSS) to evaluate mental risks induced by LLM. EmoGuard serves as an intermediary, monitoring users' mental status, predicting potential harm, and providing corrective feedback to mitigate risks. Experiments conducted in popular character-based chatbots show that emotionally engaging dialogues can lead to psychological deterioration in vulnerable users, with mental state deterioration in more than 34.4% of the simulations. EmoGuard significantly reduces these deterioration rates, underscoring its role in ensuring safer AI-human interactions. Our code is available at: https://github.com/1akaman/EmoAgent