MentalArena: Обучение языковых моделей методом самообучения для диагностики и лечения психических расстройств.
MentalArena: Self-play Training of Language Models for Diagnosis and Treatment of Mental Health Disorders
October 9, 2024
Авторы: Cheng Li, May Fung, Qingyun Wang, Chi Han, Manling Li, Jindong Wang, Heng Ji
cs.AI
Аннотация
Психические расстройства являются одними из самых серьезных заболеваний в мире. Большинство людей, страдающих от такого заболевания, лишены доступа к адекватной помощи, что подчеркивает важность обучения моделей для диагностики и лечения психических расстройств. Однако в области психического здоровья ограничения конфиденциальности ограничивают доступ к персонализированным данным о лечении, что затрудняет создание мощных моделей. В данной статье мы представляем MentalArena, фреймворк самообучения для обучения языковых моделей путем генерации персонализированных данных, специфичных для области, где мы получаем лучшую модель, способную проводить персонализированную диагностику и лечение (в роли терапевта) и предоставлять информацию (в роли пациента). Для точного моделирования пациентов с психическими расстройствами, похожих на человека, мы разрабатываем Symptom Encoder, который имитирует реального пациента с точки зрения как когнитивных, так и поведенческих аспектов. Для решения проблемы предвзятости намерений во время взаимодействия пациент-терапевт мы предлагаем Symptom Decoder для сравнения диагностированных симптомов с закодированными симптомами и динамического управления диалогом между пациентом и терапевтом в соответствии с выявленными отклонениями. Мы оценили MentalArena на 6 бенчмарках, включая biomedicalQA и задачи по психическому здоровью, в сравнении с 6 передовыми моделями. Наши модели, донастроенные как на GPT-3.5, так и на Llama-3-8b, значительно превзошли своих аналогов, включая GPT-4o. Мы надеемся, что наша работа может вдохновить будущие исследования в области персонализированной помощи. Код доступен по ссылке https://github.com/Scarelette/MentalArena/tree/main
English
Mental health disorders are one of the most serious diseases in the world.
Most people with such a disease lack access to adequate care, which highlights
the importance of training models for the diagnosis and treatment of mental
health disorders. However, in the mental health domain, privacy concerns limit
the accessibility of personalized treatment data, making it challenging to
build powerful models. In this paper, we introduce MentalArena, a self-play
framework to train language models by generating domain-specific personalized
data, where we obtain a better model capable of making a personalized diagnosis
and treatment (as a therapist) and providing information (as a patient). To
accurately model human-like mental health patients, we devise Symptom Encoder,
which simulates a real patient from both cognition and behavior perspectives.
To address intent bias during patient-therapist interactions, we propose
Symptom Decoder to compare diagnosed symptoms with encoded symptoms, and
dynamically manage the dialogue between patient and therapist according to the
identified deviations. We evaluated MentalArena against 6 benchmarks, including
biomedicalQA and mental health tasks, compared to 6 advanced models. Our
models, fine-tuned on both GPT-3.5 and Llama-3-8b, significantly outperform
their counterparts, including GPT-4o. We hope that our work can inspire future
research on personalized care. Code is available in
https://github.com/Scarelette/MentalArena/tree/main