MentalArena: Zelfspelende Training van Taalmodellen voor Diagnose en Behandeling van Geestesziekten

MentalArena: Self-play Training of Language Models for Diagnosis and Treatment of Mental Health Disorders

October 9, 2024

Auteurs: Cheng Li, May Fung, Qingyun Wang, Chi Han, Manling Li, Jindong Wang, Heng Ji

cs.AI

Samenvatting

Mentale gezondheidsstoornissen behoren tot de ernstigste ziekten ter wereld. De meeste mensen met zo'n aandoening hebben geen toegang tot adequate zorg, wat het belang benadrukt van het trainen van modellen voor de diagnose en behandeling van mentale gezondheidsstoornissen. Echter, in het domein van de geestelijke gezondheid beperken privacyzorgen de toegankelijkheid van gepersonaliseerde behandelgegevens, waardoor het uitdagend is om krachtige modellen te bouwen. In dit artikel introduceren we MentalArena, een zelfspelkader om taalmodellen te trainen door domeinspecifieke gepersonaliseerde gegevens te genereren, waarbij we een beter model verkrijgen dat in staat is tot een gepersonaliseerde diagnose en behandeling (als therapeut) en het verstrekken van informatie (als patiënt). Om menselijke mentale gezondheidspatiënten nauwkeurig te modelleren, hebben we Symptoom Encoder bedacht, die een echte patiënt simuleert vanuit zowel cognitief als gedragsmatig perspectief. Om intentiebias tijdens patiënt-therapeutinteracties aan te pakken, stellen we Symptoom Decoder voor om gediagnosticeerde symptomen te vergelijken met gecodeerde symptomen, en het gesprek tussen patiënt en therapeut dynamisch te beheren op basis van de geïdentificeerde afwijkingen. We hebben MentalArena geëvalueerd tegen 6 benchmarks, waaronder biomedische vragen en taken op het gebied van geestelijke gezondheid, in vergelijking met 6 geavanceerde modellen. Onze modellen, fijn afgestemd op zowel GPT-3.5 als Llama-3-8b, presteren aanzienlijk beter dan hun tegenhangers, inclusief GPT-4o. We hopen dat ons werk toekomstig onderzoek naar gepersonaliseerde zorg kan inspireren. De code is beschikbaar op https://github.com/Scarelette/MentalArena/tree/main

English

Mental health disorders are one of the most serious diseases in the world. Most people with such a disease lack access to adequate care, which highlights the importance of training models for the diagnosis and treatment of mental health disorders. However, in the mental health domain, privacy concerns limit the accessibility of personalized treatment data, making it challenging to build powerful models. In this paper, we introduce MentalArena, a self-play framework to train language models by generating domain-specific personalized data, where we obtain a better model capable of making a personalized diagnosis and treatment (as a therapist) and providing information (as a patient). To accurately model human-like mental health patients, we devise Symptom Encoder, which simulates a real patient from both cognition and behavior perspectives. To address intent bias during patient-therapist interactions, we propose Symptom Decoder to compare diagnosed symptoms with encoded symptoms, and dynamically manage the dialogue between patient and therapist according to the identified deviations. We evaluated MentalArena against 6 benchmarks, including biomedicalQA and mental health tasks, compared to 6 advanced models. Our models, fine-tuned on both GPT-3.5 and Llama-3-8b, significantly outperform their counterparts, including GPT-4o. We hope that our work can inspire future research on personalized care. Code is available in https://github.com/Scarelette/MentalArena/tree/main