MentalArena: 정신 건강 장애의 진단과 치료를 위한 언어 모델의 자가 학습

MentalArena: Self-play Training of Language Models for Diagnosis and Treatment of Mental Health Disorders

October 9, 2024

저자: Cheng Li, May Fung, Qingyun Wang, Chi Han, Manling Li, Jindong Wang, Heng Ji

cs.AI

초록

정신 건강 장애는 세계에서 가장 심각한 질병 중 하나입니다. 이러한 질병을 가진 대다수 사람들은 적절한 치료에 접근할 수 없어서 정신 건강 진단 및 치료를 위한 모델을 훈련하는 중요성을 강조합니다. 그러나 정신 건강 분야에서는 개인 맞춤형 치료 데이터에 대한 개인 정보 보호 문제로 인해 강력한 모델을 구축하는 것이 어려워집니다. 본 논문에서는 MentalArena를 소개합니다. 이는 도메인 특화 개인화 데이터를 생성함으로써 언어 모델을 훈련하는 자가 대결 프레임워크로, 개인 맞춤형 진단 및 치료(치료자로서) 및 정보 제공(환자로서)이 가능한 더 나은 모델을 얻을 수 있습니다. 인간과 유사한 정신 건강 환자를 정확하게 모델링하기 위해 Symptom Encoder를 고안했으며, 이는 인지 및 행동 관점에서 실제 환자를 모방합니다. 환자-치료자 상호작용 중 의도 편향을 다루기 위해 진단된 증상을 인코딩된 증상과 비교하고 식별된 이탈에 따라 환자와 치료자 간의 대화를 동적으로 관리하는 Symptom Decoder를 제안합니다. 우리는 MentalArena를 바이오메디컬QA 및 정신 건강 과제를 포함한 6가지 벤치마크와 비교하여 6가지 고급 모델에 대해 평가했습니다. GPT-3.5 및 Llama-3-8b에서 세밀하게 조정된 우리의 모델은 GPT-4o를 포함한 대조군보다 현저히 우수한 성과를 보였습니다. 우리의 연구가 개인 맞춤형 치료에 대한 미래 연구에 영감을 줄 수 있기를 희망합니다. 코드는 https://github.com/Scarelette/MentalArena/tree/main에서 확인할 수 있습니다.

English

Mental health disorders are one of the most serious diseases in the world. Most people with such a disease lack access to adequate care, which highlights the importance of training models for the diagnosis and treatment of mental health disorders. However, in the mental health domain, privacy concerns limit the accessibility of personalized treatment data, making it challenging to build powerful models. In this paper, we introduce MentalArena, a self-play framework to train language models by generating domain-specific personalized data, where we obtain a better model capable of making a personalized diagnosis and treatment (as a therapist) and providing information (as a patient). To accurately model human-like mental health patients, we devise Symptom Encoder, which simulates a real patient from both cognition and behavior perspectives. To address intent bias during patient-therapist interactions, we propose Symptom Decoder to compare diagnosed symptoms with encoded symptoms, and dynamically manage the dialogue between patient and therapist according to the identified deviations. We evaluated MentalArena against 6 benchmarks, including biomedicalQA and mental health tasks, compared to 6 advanced models. Our models, fine-tuned on both GPT-3.5 and Llama-3-8b, significantly outperform their counterparts, including GPT-4o. We hope that our work can inspire future research on personalized care. Code is available in https://github.com/Scarelette/MentalArena/tree/main