CBT-Bench: Avaliando Modelos de Linguagem Grandes na Assistência à Terapia Cognitivo-Comportamental

CBT-Bench: Evaluating Large Language Models on Assisting Cognitive Behavior Therapy

October 17, 2024

Autores: Mian Zhang, Xianjun Yang, Xinlu Zhang, Travis Labrum, Jamie C. Chiu, Shaun M. Eack, Fei Fang, William Yang Wang, Zhiyu Zoey Chen

cs.AI

Resumo

Existe uma lacuna significativa entre as necessidades dos pacientes e o suporte disponível em saúde mental hoje. Neste artigo, temos como objetivo examinar minuciosamente o potencial de utilizar Modelos de Linguagem de Grande Escala (LLMs) para auxiliar a psicoterapia profissional. Para isso, propomos um novo benchmark, CBT-BENCH, para a avaliação sistemática da assistência à terapia cognitivo-comportamental (CBT). Incluímos três níveis de tarefas no CBT-BENCH: I: Aquisição de conhecimento básico de CBT, com a tarefa de perguntas de múltipla escolha; II: Compreensão do modelo cognitivo, com as tarefas de classificação de distorção cognitiva, classificação de crença central primária e classificação de crença central detalhada; III: Geração de resposta terapêutica, com a tarefa de gerar respostas ao discurso do paciente em sessões de terapia CBT. Essas tarefas abrangem aspectos-chave da CBT que poderiam ser aprimorados por meio da assistência de IA, ao mesmo tempo em que delineiam uma hierarquia de requisitos de capacidade, que vão desde a recitação de conhecimento básico até a participação em conversas terapêuticas reais. Avaliamos LLMs representativos em nosso benchmark. Os resultados experimentais indicam que, embora os LLMs se saiam bem na recitação do conhecimento de CBT, eles ficam aquém em cenários do mundo real complexos que exigem uma análise profunda das estruturas cognitivas dos pacientes e a geração de respostas eficazes, sugerindo possíveis trabalhos futuros.

English

There is a significant gap between patient needs and available mental health support today. In this paper, we aim to thoroughly examine the potential of using Large Language Models (LLMs) to assist professional psychotherapy. To this end, we propose a new benchmark, CBT-BENCH, for the systematic evaluation of cognitive behavioral therapy (CBT) assistance. We include three levels of tasks in CBT-BENCH: I: Basic CBT knowledge acquisition, with the task of multiple-choice questions; II: Cognitive model understanding, with the tasks of cognitive distortion classification, primary core belief classification, and fine-grained core belief classification; III: Therapeutic response generation, with the task of generating responses to patient speech in CBT therapy sessions. These tasks encompass key aspects of CBT that could potentially be enhanced through AI assistance, while also outlining a hierarchy of capability requirements, ranging from basic knowledge recitation to engaging in real therapeutic conversations. We evaluated representative LLMs on our benchmark. Experimental results indicate that while LLMs perform well in reciting CBT knowledge, they fall short in complex real-world scenarios requiring deep analysis of patients' cognitive structures and generating effective responses, suggesting potential future work.