"Eu Quero Assim": Habilitando Suporte à Decisão Interativa Usando Modelos de Linguagem de Grande Escala e Programação com Restrições

"I Want It That Way": Enabling Interactive Decision Support Using Large Language Models and Constraint Programming

December 12, 2023

Autores: Connor Lawless, Jakob Schoeffer, Lindy Le, Kael Rowan, Shilad Sen, Cristina St. Hill, Jina Suh, Bahar Sarrafzadeh

cs.AI

Resumo

Um fator crítico para o sucesso dos sistemas de apoio à decisão é a modelagem precisa das preferências do usuário. Pesquisas em psicologia demonstraram que os usuários frequentemente desenvolvem suas preferências durante o processo de elicitação, destacando o papel fundamental da interação entre sistema e usuário no desenvolvimento de sistemas personalizados. Este artigo introduz uma abordagem inovadora, combinando Modelos de Linguagem de Grande Escala (LLMs) com Programação por Restrições para facilitar o apoio à decisão interativo. Estudamos essa estrutura híbrida através do contexto do agendamento de reuniões, uma atividade diária que consome tempo e é enfrentada por uma multitude de profissionais da informação. Realizamos três estudos para avaliar a nova estrutura, incluindo um estudo de diário (n=64) para caracterizar preferências contextuais de agendamento, uma avaliação quantitativa do desempenho do sistema e um estudo com usuários (n=10) utilizando um sistema protótipo. Nosso trabalho destaca o potencial de uma abordagem híbrida de LLM e otimização para a elicitação iterativa de preferências e considerações de design para a construção de sistemas que apoiam processos colaborativos de tomada de decisão entre humanos e sistemas.

English

A critical factor in the success of decision support systems is the accurate modeling of user preferences. Psychology research has demonstrated that users often develop their preferences during the elicitation process, highlighting the pivotal role of system-user interaction in developing personalized systems. This paper introduces a novel approach, combining Large Language Models (LLMs) with Constraint Programming to facilitate interactive decision support. We study this hybrid framework through the lens of meeting scheduling, a time-consuming daily activity faced by a multitude of information workers. We conduct three studies to evaluate the novel framework, including a diary study (n=64) to characterize contextual scheduling preferences, a quantitative evaluation of the system's performance, and a user study (n=10) with a prototype system. Our work highlights the potential for a hybrid LLM and optimization approach for iterative preference elicitation and design considerations for building systems that support human-system collaborative decision-making processes.