MentalArena: Treinamento por autojogo de modelos de linguagem para diagnóstico e tratamento de transtornos de saúde mental.

MentalArena: Self-play Training of Language Models for Diagnosis and Treatment of Mental Health Disorders

October 9, 2024

Autores: Cheng Li, May Fung, Qingyun Wang, Chi Han, Manling Li, Jindong Wang, Heng Ji

cs.AI

Resumo

Os distúrbios de saúde mental estão entre as doenças mais graves do mundo. A maioria das pessoas com esse tipo de doença não tem acesso a cuidados adequados, o que destaca a importância de treinar modelos para o diagnóstico e tratamento de distúrbios de saúde mental. No entanto, no domínio da saúde mental, preocupações com privacidade limitam a acessibilidade de dados de tratamento personalizados, tornando desafiador construir modelos poderosos. Neste artigo, apresentamos o MentalArena, um framework de autojogo para treinar modelos de linguagem gerando dados personalizados específicos do domínio, onde obtemos um modelo melhor capaz de fazer um diagnóstico e tratamento personalizados (como terapeuta) e fornecer informações (como paciente). Para modelar com precisão pacientes de saúde mental semelhantes a humanos, desenvolvemos o Codificador de Sintomas, que simula um paciente real tanto do ponto de vista cognitivo quanto comportamental. Para lidar com o viés de intenção durante as interações paciente-terapeuta, propomos o Decodificador de Sintomas para comparar sintomas diagnosticados com sintomas codificados e gerenciar dinamicamente o diálogo entre paciente e terapeuta de acordo com as discrepâncias identificadas. Avaliamos o MentalArena em comparação com 6 benchmarks, incluindo tarefas de BiomedicalQA e saúde mental, em relação a 6 modelos avançados. Nossos modelos, ajustados tanto no GPT-3.5 quanto no Llama-3-8b, superam significativamente seus equivalentes, incluindo o GPT-4o. Esperamos que nosso trabalho possa inspirar pesquisas futuras sobre cuidados personalizados. O código está disponível em https://github.com/Scarelette/MentalArena/tree/main

English

Mental health disorders are one of the most serious diseases in the world. Most people with such a disease lack access to adequate care, which highlights the importance of training models for the diagnosis and treatment of mental health disorders. However, in the mental health domain, privacy concerns limit the accessibility of personalized treatment data, making it challenging to build powerful models. In this paper, we introduce MentalArena, a self-play framework to train language models by generating domain-specific personalized data, where we obtain a better model capable of making a personalized diagnosis and treatment (as a therapist) and providing information (as a patient). To accurately model human-like mental health patients, we devise Symptom Encoder, which simulates a real patient from both cognition and behavior perspectives. To address intent bias during patient-therapist interactions, we propose Symptom Decoder to compare diagnosed symptoms with encoded symptoms, and dynamically manage the dialogue between patient and therapist according to the identified deviations. We evaluated MentalArena against 6 benchmarks, including biomedicalQA and mental health tasks, compared to 6 advanced models. Our models, fine-tuned on both GPT-3.5 and Llama-3-8b, significantly outperform their counterparts, including GPT-4o. We hope that our work can inspire future research on personalized care. Code is available in https://github.com/Scarelette/MentalArena/tree/main