CBT-Bench: Оценка больших языковых моделей в помощи когнитивной поведенческой терапии

CBT-Bench: Evaluating Large Language Models on Assisting Cognitive Behavior Therapy

October 17, 2024

Авторы: Mian Zhang, Xianjun Yang, Xinlu Zhang, Travis Labrum, Jamie C. Chiu, Shaun M. Eack, Fei Fang, William Yang Wang, Zhiyu Zoey Chen

cs.AI

Аннотация

Существует значительный разрыв между потребностями пациентов и доступной поддержкой в области психического здоровья сегодня. В данной статье мы стремимся тщательно исследовать потенциал использования Больших Языковых Моделей (Large Language Models, LLMs) для помощи профессиональной психотерапии. Для этого мы предлагаем новый бенчмарк, CBT-BENCH, для систематической оценки помощи когнитивно-поведенческой терапии (Cognitive Behavioral Therapy, CBT). Мы включаем три уровня задач в CBT-BENCH: I: Закрепление базовых знаний CBT с задачей множественного выбора; II: Понимание когнитивной модели с задачами классификации когнитивных искажений, классификации первичных ядерных убеждений и классификации убеждений более тонкого уровня; III: Генерация терапевтических ответов с задачей генерации ответов на высказывания пациента на сессиях CBT. Эти задачи охватывают ключевые аспекты CBT, которые могут быть улучшены с помощью поддержки искусственного интеллекта, а также определяют иерархию требований к возможностям, начиная от повторения базовых знаний до участия в реальных терапевтических разговорах. Мы оценили представительные LLMs нашего бенчмарка. Экспериментальные результаты показывают, что хотя LLMs хорошо справляются с воспроизведением знаний CBT, они не справляются с сложными сценариями реального мира, требующими глубокого анализа когнитивных структур пациентов и генерации эффективных ответов, что указывает на потенциал для будущей работы.

English

There is a significant gap between patient needs and available mental health support today. In this paper, we aim to thoroughly examine the potential of using Large Language Models (LLMs) to assist professional psychotherapy. To this end, we propose a new benchmark, CBT-BENCH, for the systematic evaluation of cognitive behavioral therapy (CBT) assistance. We include three levels of tasks in CBT-BENCH: I: Basic CBT knowledge acquisition, with the task of multiple-choice questions; II: Cognitive model understanding, with the tasks of cognitive distortion classification, primary core belief classification, and fine-grained core belief classification; III: Therapeutic response generation, with the task of generating responses to patient speech in CBT therapy sessions. These tasks encompass key aspects of CBT that could potentially be enhanced through AI assistance, while also outlining a hierarchy of capability requirements, ranging from basic knowledge recitation to engaging in real therapeutic conversations. We evaluated representative LLMs on our benchmark. Experimental results indicate that while LLMs perform well in reciting CBT knowledge, they fall short in complex real-world scenarios requiring deep analysis of patients' cognitive structures and generating effective responses, suggesting potential future work.