«Я хочу, чтобы было так»: Включение интерактивной поддержки принятия решений с использованием больших языковых моделей и ограниченного программирования

"I Want It That Way": Enabling Interactive Decision Support Using Large Language Models and Constraint Programming

December 12, 2023

Авторы: Connor Lawless, Jakob Schoeffer, Lindy Le, Kael Rowan, Shilad Sen, Cristina St. Hill, Jina Suh, Bahar Sarrafzadeh

cs.AI

Аннотация

Ключевым фактором успеха систем поддержки принятия решений является точное моделирование предпочтений пользователей. Исследования в области психологии показали, что пользователи часто формируют свои предпочтения в процессе их выявления, что подчеркивает важность взаимодействия между системой и пользователем при разработке персонализированных систем. В данной статье представлен новый подход, сочетающий крупные языковые модели (LLM) с ограниченным программированием для обеспечения интерактивной поддержки принятия решений. Мы исследуем этот гибридный подход на примере планирования встреч — трудоемкой повседневной задачи, с которой сталкиваются множество информационных работников. Мы провели три исследования для оценки нового подхода, включая дневниковое исследование (n=64) для характеристики контекстуальных предпочтений при планировании, количественную оценку производительности системы и пользовательское исследование (n=10) с использованием прототипа системы. Наша работа подчеркивает потенциал гибридного подхода, объединяющего LLM и методы оптимизации, для итеративного выявления предпочтений, а также рассматривает аспекты проектирования систем, поддерживающих процессы совместного принятия решений человеком и системой.

English

A critical factor in the success of decision support systems is the accurate modeling of user preferences. Psychology research has demonstrated that users often develop their preferences during the elicitation process, highlighting the pivotal role of system-user interaction in developing personalized systems. This paper introduces a novel approach, combining Large Language Models (LLMs) with Constraint Programming to facilitate interactive decision support. We study this hybrid framework through the lens of meeting scheduling, a time-consuming daily activity faced by a multitude of information workers. We conduct three studies to evaluate the novel framework, including a diary study (n=64) to characterize contextual scheduling preferences, a quantitative evaluation of the system's performance, and a user study (n=10) with a prototype system. Our work highlights the potential for a hybrid LLM and optimization approach for iterative preference elicitation and design considerations for building systems that support human-system collaborative decision-making processes.