EmoAgent: メンタルヘルス安全のための人間-AIインタラクションの評価と保護

EmoAgent: Assessing and Safeguarding Human-AI Interaction for Mental Health Safety

April 13, 2025

著者: Jiahao Qiu, Yinghui He, Xinzhe Juan, Yiming Wang, Yuhan Liu, Zixin Yao, Yue Wu, Xun Jiang, Ling Yang, Mengdi Wang

cs.AI

要旨

LLM駆動のAIキャラクターの台頭は、特に心理的障害を持つ脆弱な人間のユーザーにとって、安全性に関する懸念を引き起こしています。これらのリスクに対処するため、我々はEmoAgentを提案します。これは、人間とAIの相互作用におけるメンタルヘルスの危険を評価し、軽減するために設計されたマルチエージェントAIフレームワークです。EmoAgentは2つのコンポーネントで構成されています。EmoEvalは、精神的に脆弱な個人を描写するものを含む仮想ユーザーをシミュレートし、AIキャラクターとの相互作用前後のメンタルヘルスの変化を評価します。臨床的に証明された心理学的および精神医学的評価ツール（PHQ-9、PDI、PANSS）を使用して、LLMによって引き起こされる精神的リスクを評価します。EmoGuardは仲介役として機能し、ユーザーの精神状態を監視し、潜在的な危害を予測し、リスクを軽減するための修正フィードバックを提供します。人気のあるキャラクターベースのチャットボットで実施された実験では、感情的に引き込まれる対話が脆弱なユーザーの心理的悪化を引き起こし、シミュレーションの34.4％以上で精神状態の悪化が見られました。EmoGuardはこれらの悪化率を大幅に減少させ、より安全なAIと人間の相互作用を確保する上での役割を強調しています。我々のコードは以下で利用可能です：https://github.com/1akaman/EmoAgent

English

The rise of LLM-driven AI characters raises safety concerns, particularly for vulnerable human users with psychological disorders. To address these risks, we propose EmoAgent, a multi-agent AI framework designed to evaluate and mitigate mental health hazards in human-AI interactions. EmoAgent comprises two components: EmoEval simulates virtual users, including those portraying mentally vulnerable individuals, to assess mental health changes before and after interactions with AI characters. It uses clinically proven psychological and psychiatric assessment tools (PHQ-9, PDI, PANSS) to evaluate mental risks induced by LLM. EmoGuard serves as an intermediary, monitoring users' mental status, predicting potential harm, and providing corrective feedback to mitigate risks. Experiments conducted in popular character-based chatbots show that emotionally engaging dialogues can lead to psychological deterioration in vulnerable users, with mental state deterioration in more than 34.4% of the simulations. EmoGuard significantly reduces these deterioration rates, underscoring its role in ensuring safer AI-human interactions. Our code is available at: https://github.com/1akaman/EmoAgent