MentalArena : Entraînement par auto-jeu de modèles de langage pour le diagnostic et le traitement des troubles de santé mentale

MentalArena: Self-play Training of Language Models for Diagnosis and Treatment of Mental Health Disorders

October 9, 2024

Auteurs: Cheng Li, May Fung, Qingyun Wang, Chi Han, Manling Li, Jindong Wang, Heng Ji

cs.AI

Résumé

Les troubles de santé mentale sont parmi les maladies les plus graves dans le monde. La plupart des personnes atteintes de ces troubles n'ont pas accès à des soins adéquats, ce qui souligne l'importance de former des modèles pour le diagnostic et le traitement des troubles de santé mentale. Cependant, dans le domaine de la santé mentale, les préoccupations liées à la confidentialité limitent l'accessibilité des données de traitement personnalisées, rendant ainsi difficile la construction de modèles puissants. Dans cet article, nous présentons MentalArena, un cadre d'auto-apprentissage pour former des modèles de langage en générant des données personnalisées spécifiques au domaine, grâce auquel nous obtenons un meilleur modèle capable d'établir un diagnostic et un traitement personnalisés (en tant que thérapeute) et de fournir des informations (en tant que patient). Pour modéliser de manière précise des patients atteints de troubles de santé mentale de manière semblable à l'humain, nous concevons un Encodeur de Symptômes, qui simule un vrai patient du point de vue de la cognition et du comportement. Pour résoudre les biais d'intention lors des interactions patient-thérapeute, nous proposons un Décodage de Symptômes pour comparer les symptômes diagnostiqués aux symptômes encodés, et gérer dynamiquement le dialogue entre le patient et le thérapeute en fonction des écarts identifiés. Nous avons évalué MentalArena par rapport à 6 références, y compris des tâches de questions-réponses biomédicales et de santé mentale, par rapport à 6 modèles avancés. Nos modèles, affinés à la fois sur GPT-3.5 et Llama-3-8b, surpassent significativement leurs homologues, y compris GPT-4o. Nous espérons que notre travail pourra inspirer des recherches futures sur les soins personnalisés. Le code est disponible sur https://github.com/Scarelette/MentalArena/tree/main

English

Mental health disorders are one of the most serious diseases in the world. Most people with such a disease lack access to adequate care, which highlights the importance of training models for the diagnosis and treatment of mental health disorders. However, in the mental health domain, privacy concerns limit the accessibility of personalized treatment data, making it challenging to build powerful models. In this paper, we introduce MentalArena, a self-play framework to train language models by generating domain-specific personalized data, where we obtain a better model capable of making a personalized diagnosis and treatment (as a therapist) and providing information (as a patient). To accurately model human-like mental health patients, we devise Symptom Encoder, which simulates a real patient from both cognition and behavior perspectives. To address intent bias during patient-therapist interactions, we propose Symptom Decoder to compare diagnosed symptoms with encoded symptoms, and dynamically manage the dialogue between patient and therapist according to the identified deviations. We evaluated MentalArena against 6 benchmarks, including biomedicalQA and mental health tasks, compared to 6 advanced models. Our models, fine-tuned on both GPT-3.5 and Llama-3-8b, significantly outperform their counterparts, including GPT-4o. We hope that our work can inspire future research on personalized care. Code is available in https://github.com/Scarelette/MentalArena/tree/main