EmoAgent: Оценка и обеспечение безопасности взаимодействия человека и ИИ в контексте психического здоровья

EmoAgent: Assessing and Safeguarding Human-AI Interaction for Mental Health Safety

April 13, 2025

Авторы: Jiahao Qiu, Yinghui He, Xinzhe Juan, Yiming Wang, Yuhan Liu, Zixin Yao, Yue Wu, Xun Jiang, Ling Yang, Mengdi Wang

cs.AI

Аннотация

Рост популярности AI-персонажей, управляемых крупными языковыми моделями (LLM), вызывает опасения в отношении безопасности, особенно для уязвимых пользователей с психологическими расстройствами. Для устранения этих рисков мы предлагаем EmoAgent — многоагентную AI-систему, предназначенную для оценки и снижения угроз психическому здоровью в процессе взаимодействия человека с ИИ. EmoAgent состоит из двух компонентов: EmoEval моделирует виртуальных пользователей, включая тех, кто изображает психически уязвимых людей, чтобы оценить изменения в психическом состоянии до и после взаимодействия с AI-персонажами. Для оценки психических рисков, вызванных LLM, используются клинически проверенные психологические и психиатрические инструменты (PHQ-9, PDI, PANSS). EmoGuard выступает в роли посредника, отслеживая психическое состояние пользователей, прогнозируя потенциальный вред и предоставляя корректирующие рекомендации для снижения рисков. Эксперименты, проведенные в популярных чат-ботах на основе персонажей, показывают, что эмоционально насыщенные диалоги могут привести к ухудшению психического состояния уязвимых пользователей, причем ухудшение наблюдается более чем в 34,4% симуляций. EmoGuard значительно снижает эти показатели, подчеркивая свою роль в обеспечении более безопасного взаимодействия человека с ИИ. Наш код доступен по адресу: https://github.com/1akaman/EmoAgent.

English

The rise of LLM-driven AI characters raises safety concerns, particularly for vulnerable human users with psychological disorders. To address these risks, we propose EmoAgent, a multi-agent AI framework designed to evaluate and mitigate mental health hazards in human-AI interactions. EmoAgent comprises two components: EmoEval simulates virtual users, including those portraying mentally vulnerable individuals, to assess mental health changes before and after interactions with AI characters. It uses clinically proven psychological and psychiatric assessment tools (PHQ-9, PDI, PANSS) to evaluate mental risks induced by LLM. EmoGuard serves as an intermediary, monitoring users' mental status, predicting potential harm, and providing corrective feedback to mitigate risks. Experiments conducted in popular character-based chatbots show that emotionally engaging dialogues can lead to psychological deterioration in vulnerable users, with mental state deterioration in more than 34.4% of the simulations. EmoGuard significantly reduces these deterioration rates, underscoring its role in ensuring safer AI-human interactions. Our code is available at: https://github.com/1akaman/EmoAgent