"Voglio che sia così": Abilitare il supporto decisionale interattivo utilizzando modelli linguistici di grandi dimensioni e la programmazione con vincoli

"I Want It That Way": Enabling Interactive Decision Support Using Large Language Models and Constraint Programming

December 12, 2023

Autori: Connor Lawless, Jakob Schoeffer, Lindy Le, Kael Rowan, Shilad Sen, Cristina St. Hill, Jina Suh, Bahar Sarrafzadeh

cs.AI

Abstract

Un fattore critico per il successo dei sistemi di supporto alle decisioni è la modellazione accurata delle preferenze degli utenti. La ricerca psicologica ha dimostrato che gli utenti spesso sviluppano le proprie preferenze durante il processo di elicitation, sottolineando il ruolo cruciale dell'interazione sistema-utente nello sviluppo di sistemi personalizzati. Questo articolo introduce un approccio innovativo, che combina Large Language Models (LLM) con la Programmazione a Vincoli per facilitare il supporto decisionale interattivo. Studiamo questo framework ibrido attraverso il caso specifico della pianificazione di riunioni, un'attività quotidiana che richiede tempo e che affrontano numerosi lavoratori dell'informazione. Abbiamo condotto tre studi per valutare il nuovo framework, tra cui uno studio diario (n=64) per caratterizzare le preferenze contestuali nella pianificazione, una valutazione quantitativa delle prestazioni del sistema e uno studio utente (n=10) con un sistema prototipo. Il nostro lavoro evidenzia il potenziale di un approccio ibrido che combina LLM e ottimizzazione per l'elicitazione iterativa delle preferenze e le considerazioni progettuali per la costruzione di sistemi che supportano processi decisionali collaborativi tra uomo e sistema.

English

A critical factor in the success of decision support systems is the accurate modeling of user preferences. Psychology research has demonstrated that users often develop their preferences during the elicitation process, highlighting the pivotal role of system-user interaction in developing personalized systems. This paper introduces a novel approach, combining Large Language Models (LLMs) with Constraint Programming to facilitate interactive decision support. We study this hybrid framework through the lens of meeting scheduling, a time-consuming daily activity faced by a multitude of information workers. We conduct three studies to evaluate the novel framework, including a diary study (n=64) to characterize contextual scheduling preferences, a quantitative evaluation of the system's performance, and a user study (n=10) with a prototype system. Our work highlights the potential for a hybrid LLM and optimization approach for iterative preference elicitation and design considerations for building systems that support human-system collaborative decision-making processes.