"그렇게 하고 싶어": 대규모 언어 모델과 제약 프로그래밍을 활용한 대화형 의사결정 지원 시스템 구현

초록

의사결정 지원 시스템의 성공에 있어 중요한 요소는 사용자 선호도의 정확한 모델링입니다. 심리학 연구에 따르면, 사용자들은 선호도 조사 과정에서 자신의 선호도를 형성하는 경우가 많으며, 이는 개인화된 시스템 개발에 있어 시스템과 사용자 간 상호작용의 중요성을 강조합니다. 본 논문은 대규모 언어 모델(LLMs)과 제약 프로그래밍을 결합한 새로운 접근 방식을 소개하여 상호작용적 의사결정 지원을 용이하게 합니다. 우리는 이 하이브리드 프레임워크를 정보 작업자들이 매일 직면하는 시간 소모적인 활동인 회의 일정 관리라는 관점에서 연구합니다. 이 프레임워크를 평가하기 위해 세 가지 연구를 진행했는데, 이는 상황별 일정 선호도를 특성화하기 위한 일기 연구(n=64), 시스템 성능에 대한 정량적 평가, 그리고 프로토타입 시스템을 사용한 사용자 연구(n=10)를 포함합니다. 우리의 연구는 반복적 선호도 조사를 위한 하이브리드 LLM과 최적화 접근법의 잠재력과 인간-시스템 협업 의사결정 프로세스를 지원하는 시스템 구축을 위한 설계 고려 사항을 강조합니다.

English

A critical factor in the success of decision support systems is the accurate modeling of user preferences. Psychology research has demonstrated that users often develop their preferences during the elicitation process, highlighting the pivotal role of system-user interaction in developing personalized systems. This paper introduces a novel approach, combining Large Language Models (LLMs) with Constraint Programming to facilitate interactive decision support. We study this hybrid framework through the lens of meeting scheduling, a time-consuming daily activity faced by a multitude of information workers. We conduct three studies to evaluate the novel framework, including a diary study (n=64) to characterize contextual scheduling preferences, a quantitative evaluation of the system's performance, and a user study (n=10) with a prototype system. Our work highlights the potential for a hybrid LLM and optimization approach for iterative preference elicitation and design considerations for building systems that support human-system collaborative decision-making processes.

"그렇게 하고 싶어": 대규모 언어 모델과 제약 프로그래밍을 활용한 대화형 의사결정 지원 시스템 구현

"I Want It That Way": Enabling Interactive Decision Support Using Large Language Models and Constraint Programming

초록

Support