"I Want It That Way": Het mogelijk maken van interactieve beslissingsondersteuning met behulp van grote taalmodelen en constraintprogrammering

"I Want It That Way": Enabling Interactive Decision Support Using Large Language Models and Constraint Programming

December 12, 2023

Auteurs: Connor Lawless, Jakob Schoeffer, Lindy Le, Kael Rowan, Shilad Sen, Cristina St. Hill, Jina Suh, Bahar Sarrafzadeh

cs.AI

Samenvatting

Een cruciale factor voor het succes van beslissingsondersteunende systemen is het nauwkeurig modelleren van gebruikersvoorkeuren. Onderzoek in de psychologie heeft aangetoond dat gebruikers vaak hun voorkeuren ontwikkelen tijdens het elicitatietraject, wat het essentiële belang van systeem-gebruikerinteractie benadrukt bij het ontwikkelen van gepersonaliseerde systemen. Dit artikel introduceert een nieuwe aanpak, waarbij Large Language Models (LLM's) worden gecombineerd met Constraint Programming om interactieve beslissingsondersteuning te faciliteren. We bestuderen dit hybride raamwerk aan de hand van vergaderplanning, een tijdrovende dagelijkse activiteit waarmee veel informatieprofessionals te maken hebben. We voeren drie studies uit om het nieuwe raamwerk te evalueren, waaronder een dagboekstudie (n=64) om contextuele planningsvoorkeuren te karakteriseren, een kwantitatieve evaluatie van de prestaties van het systeem, en een gebruikersstudie (n=10) met een prototypesysteem. Ons werk benadrukt het potentieel van een hybride LLM- en optimalisatieaanpak voor iteratieve voorkeurelicitatie en ontwerpoverwegingen voor het bouwen van systemen die mens-systeem samenwerkende besluitvormingsprocessen ondersteunen.

English

A critical factor in the success of decision support systems is the accurate modeling of user preferences. Psychology research has demonstrated that users often develop their preferences during the elicitation process, highlighting the pivotal role of system-user interaction in developing personalized systems. This paper introduces a novel approach, combining Large Language Models (LLMs) with Constraint Programming to facilitate interactive decision support. We study this hybrid framework through the lens of meeting scheduling, a time-consuming daily activity faced by a multitude of information workers. We conduct three studies to evaluate the novel framework, including a diary study (n=64) to characterize contextual scheduling preferences, a quantitative evaluation of the system's performance, and a user study (n=10) with a prototype system. Our work highlights the potential for a hybrid LLM and optimization approach for iterative preference elicitation and design considerations for building systems that support human-system collaborative decision-making processes.