MentalArena: Selbstspiel-Training von Sprachmodellen zur Diagnose und Behandlung von psychischen Störungen

MentalArena: Self-play Training of Language Models for Diagnosis and Treatment of Mental Health Disorders

October 9, 2024

Autoren: Cheng Li, May Fung, Qingyun Wang, Chi Han, Manling Li, Jindong Wang, Heng Ji

cs.AI

Zusammenfassung

Psychische Störungen gehören zu den schwerwiegendsten Krankheiten weltweit. Die meisten Menschen mit einer solchen Krankheit haben keinen ausreichenden Zugang zur angemessenen Versorgung, was die Bedeutung der Schulung von Modellen für die Diagnose und Behandlung von psychischen Störungen unterstreicht. Allerdings beschränken Datenschutzbedenken im Bereich der psychischen Gesundheit die Zugänglichkeit von personalisierten Behandlungsdaten, was es herausfordernd macht, leistungsstarke Modelle zu entwickeln. In diesem Artikel stellen wir MentalArena vor, ein Selbstspiel-Framework zur Schulung von Sprachmodellen durch die Generierung von domänenspezifischen personalisierten Daten, mit dem wir ein besseres Modell erhalten, das in der Lage ist, eine personalisierte Diagnose und Behandlung (als Therapeut) zu erstellen und Informationen bereitzustellen (als Patient). Um menschenähnliche mentale Gesundheitspatienten genau zu modellieren, haben wir den Symptom-Encoder entwickelt, der einen echten Patienten aus kognitiver und Verhaltensperspektive simuliert. Um Voreingenommenheit bei Patienten-Therapeuten-Interaktionen zu behandeln, schlagen wir den Symptom-Decoder vor, um diagnostizierte Symptome mit codierten Symptomen zu vergleichen und den Dialog zwischen Patient und Therapeut dynamisch entsprechend den identifizierten Abweichungen zu steuern. Wir haben MentalArena gegen 6 Benchmarks evaluiert, darunter biomedizinische Fragen und Aufgaben im Bereich der psychischen Gesundheit, im Vergleich zu 6 fortgeschrittenen Modellen. Unsere Modelle, die sowohl auf GPT-3.5 als auch auf Llama-3-8b feinabgestimmt sind, übertreffen signifikant ihre Gegenstücke, einschließlich GPT-4o. Wir hoffen, dass unsere Arbeit zukünftige Forschung im Bereich der personalisierten Versorgung inspirieren kann. Der Code ist verfügbar unter https://github.com/Scarelette/MentalArena/tree/main

English

Mental health disorders are one of the most serious diseases in the world. Most people with such a disease lack access to adequate care, which highlights the importance of training models for the diagnosis and treatment of mental health disorders. However, in the mental health domain, privacy concerns limit the accessibility of personalized treatment data, making it challenging to build powerful models. In this paper, we introduce MentalArena, a self-play framework to train language models by generating domain-specific personalized data, where we obtain a better model capable of making a personalized diagnosis and treatment (as a therapist) and providing information (as a patient). To accurately model human-like mental health patients, we devise Symptom Encoder, which simulates a real patient from both cognition and behavior perspectives. To address intent bias during patient-therapist interactions, we propose Symptom Decoder to compare diagnosed symptoms with encoded symptoms, and dynamically manage the dialogue between patient and therapist according to the identified deviations. We evaluated MentalArena against 6 benchmarks, including biomedicalQA and mental health tasks, compared to 6 advanced models. Our models, fine-tuned on both GPT-3.5 and Llama-3-8b, significantly outperform their counterparts, including GPT-4o. We hope that our work can inspire future research on personalized care. Code is available in https://github.com/Scarelette/MentalArena/tree/main