"Yo Quiero Así": Habilitando el Soporte de Decisiones Interactivo mediante Modelos de Lenguaje a Gran Escala y Programación con Restricciones

"I Want It That Way": Enabling Interactive Decision Support Using Large Language Models and Constraint Programming

December 12, 2023

Autores: Connor Lawless, Jakob Schoeffer, Lindy Le, Kael Rowan, Shilad Sen, Cristina St. Hill, Jina Suh, Bahar Sarrafzadeh

cs.AI

Resumen

Un factor crítico en el éxito de los sistemas de apoyo a la toma de decisiones es la modelización precisa de las preferencias del usuario. Investigaciones en psicología han demostrado que los usuarios a menudo desarrollan sus preferencias durante el proceso de elicitación, destacando el papel fundamental de la interacción entre el sistema y el usuario en el desarrollo de sistemas personalizados. Este artículo presenta un enfoque novedoso que combina Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) con Programación de Restricciones para facilitar el apoyo interactivo a la toma de decisiones. Estudiamos este marco híbrido a través del caso de la programación de reuniones, una actividad diaria que consume tiempo y que enfrentan multitudes de trabajadores de la información. Realizamos tres estudios para evaluar el nuevo marco, incluyendo un estudio diario (n=64) para caracterizar las preferencias contextuales de programación, una evaluación cuantitativa del rendimiento del sistema y un estudio de usuarios (n=10) con un sistema prototipo. Nuestro trabajo destaca el potencial de un enfoque híbrido de LLM y optimización para la elicitación iterativa de preferencias y las consideraciones de diseño para construir sistemas que apoyen procesos de toma de decisiones colaborativos entre humanos y sistemas.

English

A critical factor in the success of decision support systems is the accurate modeling of user preferences. Psychology research has demonstrated that users often develop their preferences during the elicitation process, highlighting the pivotal role of system-user interaction in developing personalized systems. This paper introduces a novel approach, combining Large Language Models (LLMs) with Constraint Programming to facilitate interactive decision support. We study this hybrid framework through the lens of meeting scheduling, a time-consuming daily activity faced by a multitude of information workers. We conduct three studies to evaluate the novel framework, including a diary study (n=64) to characterize contextual scheduling preferences, a quantitative evaluation of the system's performance, and a user study (n=10) with a prototype system. Our work highlights the potential for a hybrid LLM and optimization approach for iterative preference elicitation and design considerations for building systems that support human-system collaborative decision-making processes.