Обучение моделей для генерации, распознавания и переформулирования непродуктивных мыслей

Training Models to Generate, Recognize, and Reframe Unhelpful Thoughts

July 6, 2023

Авторы: Mounica Maddela, Megan Ung, Jing Xu, Andrea Madotto, Heather Foran, Y-Lan Boureau

cs.AI

Аннотация

Многие когнитивные подходы к благополучию, такие как распознавание и переосмысление непродуктивных мыслей, получили значительную эмпирическую поддержку за последние десятилетия, однако до сих пор не получили широкого распространения в формате самопомощи. Одним из препятствий для такого распространения является отсутствие достаточно специфичных и разнообразных материалов для практики. В данной работе исследуется, можно ли использовать современные языковые модели для создания практически неограниченного количества практических материалов, иллюстрирующих стандартные непродуктивные мыслительные шаблоны, соответствующие заданным контекстам, а также для генерации подходящих предложений по их позитивному переосмыслению. Мы представляем PATTERNREFRAME — новый набор данных, содержащий около 10 тысяч примеров мыслей с непродуктивными шаблонами, обусловленными заданной личностью, и сопровождаемых примерно 27 тысячами позитивных переосмыслений. Используя этот набор данных для обучения и/или оценки современных моделей, мы показываем, что существующие модели уже могут быть мощным инструментом для генерации большого количества адаптированных практических материалов и гипотез, при этом не требуя или требуя минимальной дополнительной дообучки моделей.

English

Many cognitive approaches to well-being, such as recognizing and reframing unhelpful thoughts, have received considerable empirical support over the past decades, yet still lack truly widespread adoption in self-help format. A barrier to that adoption is a lack of adequately specific and diverse dedicated practice material. This work examines whether current language models can be leveraged to both produce a virtually unlimited quantity of practice material illustrating standard unhelpful thought patterns matching specific given contexts, and generate suitable positive reframing proposals. We propose PATTERNREFRAME, a novel dataset of about 10k examples of thoughts containing unhelpful thought patterns conditioned on a given persona, accompanied by about 27k positive reframes. By using this dataset to train and/or evaluate current models, we show that existing models can already be powerful tools to help generate an abundance of tailored practice material and hypotheses, with no or minimal additional model training required.