EmoAgent: 정신 건강 안전을 위한 인간-AI 상호작용 평가 및 보호

EmoAgent: Assessing and Safeguarding Human-AI Interaction for Mental Health Safety

April 13, 2025

저자: Jiahao Qiu, Yinghui He, Xinzhe Juan, Yiming Wang, Yuhan Liu, Zixin Yao, Yue Wu, Xun Jiang, Ling Yang, Mengdi Wang

cs.AI

초록

LLM 기반 AI 캐릭터의 등장은 특히 심리적 장애를 가진 취약한 사용자들에게 안전 문제를 제기합니다. 이러한 위험을 해결하기 위해, 우리는 인간-AI 상호작용에서 정신 건강 위험을 평가하고 완화하기 위해 설계된 다중 에이전트 AI 프레임워크인 EmoAgent를 제안합니다. EmoAgent는 두 가지 구성 요소로 이루어져 있습니다: EmoEval은 정신적으로 취약한 개인을 포함한 가상 사용자를 시뮬레이션하여 AI 캐릭터와의 상호작용 전후의 정신 건강 변화를 평가합니다. 이는 임상적으로 검증된 심리학적 및 정신과적 평가 도구(PHQ-9, PDI, PANSS)를 사용하여 LLM에 의해 유발된 정신적 위험을 평가합니다. EmoGuard는 중개자 역할을 하며, 사용자의 정신 상태를 모니터링하고 잠재적 피해를 예측하며 위험을 완화하기 위한 교정 피드백을 제공합니다. 인기 있는 캐릭터 기반 챗봇에서 수행된 실험은 감정적으로 몰입하는 대화가 취약한 사용자들에게 심리적 악화를 초래할 수 있으며, 시뮬레이션의 34.4% 이상에서 정신 상태 악화가 발생함을 보여줍니다. EmoGuard는 이러한 악화 비율을 크게 감소시켜, 더 안전한 AI-인간 상호작용을 보장하는 데 중요한 역할을 합니다. 우리의 코드는 https://github.com/1akaman/EmoAgent에서 확인할 수 있습니다.

English

The rise of LLM-driven AI characters raises safety concerns, particularly for vulnerable human users with psychological disorders. To address these risks, we propose EmoAgent, a multi-agent AI framework designed to evaluate and mitigate mental health hazards in human-AI interactions. EmoAgent comprises two components: EmoEval simulates virtual users, including those portraying mentally vulnerable individuals, to assess mental health changes before and after interactions with AI characters. It uses clinically proven psychological and psychiatric assessment tools (PHQ-9, PDI, PANSS) to evaluate mental risks induced by LLM. EmoGuard serves as an intermediary, monitoring users' mental status, predicting potential harm, and providing corrective feedback to mitigate risks. Experiments conducted in popular character-based chatbots show that emotionally engaging dialogues can lead to psychological deterioration in vulnerable users, with mental state deterioration in more than 34.4% of the simulations. EmoGuard significantly reduces these deterioration rates, underscoring its role in ensuring safer AI-human interactions. Our code is available at: https://github.com/1akaman/EmoAgent