"Je le veux comme ça" : Permettre un support décisionnel interactif grâce aux modèles de langage à grande échelle et à la programmation par contraintes

"I Want It That Way": Enabling Interactive Decision Support Using Large Language Models and Constraint Programming

December 12, 2023

Auteurs: Connor Lawless, Jakob Schoeffer, Lindy Le, Kael Rowan, Shilad Sen, Cristina St. Hill, Jina Suh, Bahar Sarrafzadeh

cs.AI

Résumé

Un facteur crucial dans le succès des systèmes d'aide à la décision est la modélisation précise des préférences des utilisateurs. La recherche en psychologie a démontré que les utilisateurs développent souvent leurs préférences au cours du processus d'élucidation, soulignant le rôle central de l'interaction système-utilisateur dans le développement de systèmes personnalisés. Cet article présente une approche novatrice, combinant les modèles de langage de grande taille (LLMs) avec la programmation par contraintes pour faciliter l'aide à la décision interactive. Nous étudions ce cadre hybride à travers le prisme de la planification de réunions, une activité quotidienne chronophage à laquelle sont confrontés de nombreux travailleurs de l'information. Nous menons trois études pour évaluer ce nouveau cadre, incluant une étude de journal (n=64) pour caractériser les préférences contextuelles de planification, une évaluation quantitative des performances du système, et une étude utilisateur (n=10) avec un prototype du système. Notre travail met en lumière le potentiel d'une approche hybride combinant LLM et optimisation pour l'élucidation itérative des préférences, ainsi que les considérations de conception pour la création de systèmes soutenant les processus de décision collaborative entre humains et systèmes.

English

A critical factor in the success of decision support systems is the accurate modeling of user preferences. Psychology research has demonstrated that users often develop their preferences during the elicitation process, highlighting the pivotal role of system-user interaction in developing personalized systems. This paper introduces a novel approach, combining Large Language Models (LLMs) with Constraint Programming to facilitate interactive decision support. We study this hybrid framework through the lens of meeting scheduling, a time-consuming daily activity faced by a multitude of information workers. We conduct three studies to evaluate the novel framework, including a diary study (n=64) to characterize contextual scheduling preferences, a quantitative evaluation of the system's performance, and a user study (n=10) with a prototype system. Our work highlights the potential for a hybrid LLM and optimization approach for iterative preference elicitation and design considerations for building systems that support human-system collaborative decision-making processes.