CBT-Bench: Valutazione dei Grandi Modelli Linguistici nell'Assistenza alla Terapia Comportamentale Cognitiva

CBT-Bench: Evaluating Large Language Models on Assisting Cognitive Behavior Therapy

October 17, 2024

Autori: Mian Zhang, Xianjun Yang, Xinlu Zhang, Travis Labrum, Jamie C. Chiu, Shaun M. Eack, Fei Fang, William Yang Wang, Zhiyu Zoey Chen

cs.AI

Abstract

C'è un divario significativo tra le esigenze dei pazienti e il supporto attuale alla salute mentale disponibile oggi. In questo articolo, ci proponiamo di esaminare approfonditamente il potenziale dell'utilizzo dei Grandi Modelli Linguistici (LLM) per assistere la psicoterapia professionale. A tal fine, proponiamo un nuovo benchmark, CBT-BENCH, per la valutazione sistematica dell'assistenza alla terapia cognitivo-comportamentale (CBT). Includiamo tre livelli di compiti in CBT-BENCH: I: Acquisizione di conoscenze di base della CBT, con il compito di domande a scelta multipla; II: Comprensione del modello cognitivo, con i compiti di classificazione delle distorsioni cognitive, classificazione delle credenze centrali primarie e classificazione delle credenze centrali dettagliate; III: Generazione di risposte terapeutiche, con il compito di generare risposte al discorso del paziente nelle sessioni di terapia CBT. Questi compiti includono aspetti chiave della CBT che potrebbero essere potenziati attraverso l'assistenza dell'IA, delineando anche una gerarchia dei requisiti di capacità, che vanno dalla semplice recitazione delle conoscenze di base all'interazione in vere conversazioni terapeutiche. Abbiamo valutato i LLM rappresentativi sul nostro benchmark. I risultati sperimentali indicano che sebbene i LLM si comportino bene nella recitazione delle conoscenze della CBT, sono carenti in scenari reali complessi che richiedono un'analisi approfondita delle strutture cognitive dei pazienti e la generazione di risposte efficaci, suggerendo possibili sviluppi futuri.

English

There is a significant gap between patient needs and available mental health support today. In this paper, we aim to thoroughly examine the potential of using Large Language Models (LLMs) to assist professional psychotherapy. To this end, we propose a new benchmark, CBT-BENCH, for the systematic evaluation of cognitive behavioral therapy (CBT) assistance. We include three levels of tasks in CBT-BENCH: I: Basic CBT knowledge acquisition, with the task of multiple-choice questions; II: Cognitive model understanding, with the tasks of cognitive distortion classification, primary core belief classification, and fine-grained core belief classification; III: Therapeutic response generation, with the task of generating responses to patient speech in CBT therapy sessions. These tasks encompass key aspects of CBT that could potentially be enhanced through AI assistance, while also outlining a hierarchy of capability requirements, ranging from basic knowledge recitation to engaging in real therapeutic conversations. We evaluated representative LLMs on our benchmark. Experimental results indicate that while LLMs perform well in reciting CBT knowledge, they fall short in complex real-world scenarios requiring deep analysis of patients' cognitive structures and generating effective responses, suggesting potential future work.