MentalArena: Addestramento tramite auto-gioco di modelli linguistici per la diagnosi e il trattamento dei disturbi mentali

MentalArena: Self-play Training of Language Models for Diagnosis and Treatment of Mental Health Disorders

October 9, 2024

Autori: Cheng Li, May Fung, Qingyun Wang, Chi Han, Manling Li, Jindong Wang, Heng Ji

cs.AI

Abstract

I disturbi mentali sono una delle malattie più gravi al mondo. La maggior parte delle persone affette da tali disturbi non ha accesso a cure adeguate, il che sottolinea l'importanza di addestrare modelli per la diagnosi e il trattamento dei disturbi mentali. Tuttavia, nel campo della salute mentale, le preoccupazioni sulla privacy limitano l'accessibilità dei dati di trattamento personalizzati, rendendo difficile la costruzione di modelli potenti. In questo articolo, presentiamo MentalArena, un framework di auto-gioco per addestrare modelli linguistici generando dati personalizzati specifici del dominio, dove otteniamo un modello migliore in grado di effettuare una diagnosi e un trattamento personalizzati (come terapeuta) e fornire informazioni (come paziente). Per modellare accuratamente pazienti con problemi di salute mentale simili all'essere umano, progettiamo Symptom Encoder, che simula un paziente reale sia dal punto di vista cognitivo che comportamentale. Per affrontare il bias di intenti durante le interazioni paziente-terapeuta, proponiamo Symptom Decoder per confrontare i sintomi diagnosticati con i sintomi codificati e gestire dinamicamente il dialogo tra paziente e terapeuta in base alle deviazioni identificate. Abbiamo valutato MentalArena su 6 benchmark, inclusi biomedicalQA e compiti di salute mentale, confrontandolo con 6 modelli avanzati. I nostri modelli, ottimizzati sia su GPT-3.5 che su Llama-3-8b, superano significativamente i loro corrispettivi, inclusi GPT-4o. Speriamo che il nostro lavoro possa ispirare futuri studi sulla cura personalizzata. Il codice è disponibile su https://github.com/Scarelette/MentalArena/tree/main

English

Mental health disorders are one of the most serious diseases in the world. Most people with such a disease lack access to adequate care, which highlights the importance of training models for the diagnosis and treatment of mental health disorders. However, in the mental health domain, privacy concerns limit the accessibility of personalized treatment data, making it challenging to build powerful models. In this paper, we introduce MentalArena, a self-play framework to train language models by generating domain-specific personalized data, where we obtain a better model capable of making a personalized diagnosis and treatment (as a therapist) and providing information (as a patient). To accurately model human-like mental health patients, we devise Symptom Encoder, which simulates a real patient from both cognition and behavior perspectives. To address intent bias during patient-therapist interactions, we propose Symptom Decoder to compare diagnosed symptoms with encoded symptoms, and dynamically manage the dialogue between patient and therapist according to the identified deviations. We evaluated MentalArena against 6 benchmarks, including biomedicalQA and mental health tasks, compared to 6 advanced models. Our models, fine-tuned on both GPT-3.5 and Llama-3-8b, significantly outperform their counterparts, including GPT-4o. We hope that our work can inspire future research on personalized care. Code is available in https://github.com/Scarelette/MentalArena/tree/main