„I Want It That Way“: Ermöglichung interaktiver Entscheidungsunterstützung durch den Einsatz von großen Sprachmodellen und Constraint-Programmierung

"I Want It That Way": Enabling Interactive Decision Support Using Large Language Models and Constraint Programming

December 12, 2023

Autoren: Connor Lawless, Jakob Schoeffer, Lindy Le, Kael Rowan, Shilad Sen, Cristina St. Hill, Jina Suh, Bahar Sarrafzadeh

cs.AI

Zusammenfassung

Ein entscheidender Faktor für den Erfolg von Entscheidungsunterstützungssystemen ist die präzise Modellierung von Benutzerpräferenzen. Die psychologische Forschung hat gezeigt, dass Benutzer ihre Präferenzen oft während des Eruierungsprozesses entwickeln, was die zentrale Rolle der System-Benutzer-Interaktion bei der Entwicklung personalisierter Systeme unterstreicht. Dieses Papier stellt einen neuartigen Ansatz vor, der Large Language Models (LLMs) mit Constraint Programming kombiniert, um interaktive Entscheidungsunterstützung zu ermöglichen. Wir untersuchen diesen hybriden Rahmen am Beispiel der Terminplanung, einer zeitaufwändigen täglichen Aktivität, mit der eine Vielzahl von Informationsarbeitern konfrontiert ist. Wir führen drei Studien durch, um das neuartige Framework zu bewerten, darunter eine Tagebuchstudie (n=64) zur Charakterisierung kontextbezogener Planungspräferenzen, eine quantitative Bewertung der Systemleistung und eine Benutzerstudie (n=10) mit einem Prototyp-System. Unsere Arbeit verdeutlicht das Potenzial eines hybriden Ansatzes aus LLM und Optimierung für die iterative Präferenzeruierung sowie Designüberlegungen für den Aufbau von Systemen, die menschlich-system-kollaborative Entscheidungsprozesse unterstützen.

English

A critical factor in the success of decision support systems is the accurate modeling of user preferences. Psychology research has demonstrated that users often develop their preferences during the elicitation process, highlighting the pivotal role of system-user interaction in developing personalized systems. This paper introduces a novel approach, combining Large Language Models (LLMs) with Constraint Programming to facilitate interactive decision support. We study this hybrid framework through the lens of meeting scheduling, a time-consuming daily activity faced by a multitude of information workers. We conduct three studies to evaluate the novel framework, including a diary study (n=64) to characterize contextual scheduling preferences, a quantitative evaluation of the system's performance, and a user study (n=10) with a prototype system. Our work highlights the potential for a hybrid LLM and optimization approach for iterative preference elicitation and design considerations for building systems that support human-system collaborative decision-making processes.