MentalArena: Entrenamiento mediante autojugabilidad de modelos de lenguaje para el diagnóstico y tratamiento de trastornos de salud mental.

MentalArena: Self-play Training of Language Models for Diagnosis and Treatment of Mental Health Disorders

October 9, 2024

Autores: Cheng Li, May Fung, Qingyun Wang, Chi Han, Manling Li, Jindong Wang, Heng Ji

cs.AI

Resumen

Los trastornos de salud mental son una de las enfermedades más graves en el mundo. La mayoría de las personas con este tipo de enfermedad carecen de acceso a cuidados adecuados, lo que resalta la importancia de entrenar modelos para el diagnóstico y tratamiento de trastornos de salud mental. Sin embargo, en el ámbito de la salud mental, las preocupaciones de privacidad limitan la accesibilidad de datos de tratamiento personalizados, lo que dificulta la construcción de modelos potentes. En este documento, presentamos MentalArena, un marco de autoaprendizaje para entrenar modelos de lenguaje mediante la generación de datos personalizados específicos del dominio, donde obtenemos un modelo mejorado capaz de realizar un diagnóstico y tratamiento personalizado (como terapeuta) y proporcionar información (como paciente). Para modelar con precisión pacientes de salud mental con características humanas, diseñamos el Codificador de Síntomas, que simula a un paciente real desde las perspectivas de cognición y comportamiento. Para abordar el sesgo de intención durante las interacciones paciente-terapeuta, proponemos el Decodificador de Síntomas para comparar los síntomas diagnosticados con los síntomas codificados, y gestionar dinámicamente el diálogo entre paciente y terapeuta según las desviaciones identificadas. Evaluamos MentalArena frente a 6 puntos de referencia, incluidas tareas de BiomedicalQA y salud mental, en comparación con 6 modelos avanzados. Nuestros modelos, ajustados finamente tanto en GPT-3.5 como en Llama-3-8b, superan significativamente a sus contrapartes, incluido GPT-4o. Esperamos que nuestro trabajo pueda inspirar futuras investigaciones sobre cuidados personalizados. El código está disponible en https://github.com/Scarelette/MentalArena/tree/main

English

Mental health disorders are one of the most serious diseases in the world. Most people with such a disease lack access to adequate care, which highlights the importance of training models for the diagnosis and treatment of mental health disorders. However, in the mental health domain, privacy concerns limit the accessibility of personalized treatment data, making it challenging to build powerful models. In this paper, we introduce MentalArena, a self-play framework to train language models by generating domain-specific personalized data, where we obtain a better model capable of making a personalized diagnosis and treatment (as a therapist) and providing information (as a patient). To accurately model human-like mental health patients, we devise Symptom Encoder, which simulates a real patient from both cognition and behavior perspectives. To address intent bias during patient-therapist interactions, we propose Symptom Decoder to compare diagnosed symptoms with encoded symptoms, and dynamically manage the dialogue between patient and therapist according to the identified deviations. We evaluated MentalArena against 6 benchmarks, including biomedicalQA and mental health tasks, compared to 6 advanced models. Our models, fine-tuned on both GPT-3.5 and Llama-3-8b, significantly outperform their counterparts, including GPT-4o. We hope that our work can inspire future research on personalized care. Code is available in https://github.com/Scarelette/MentalArena/tree/main