OnGoal: 대규모 언어 모델을 활용한 다중 턴 대화에서의 대화 목표 추적 및 시각화

초록

대형 언어 모델(LLM)과의 다중 턴 대화가 점점 더 길고 복잡해짐에 따라, 사용자가 대화 목표에 대한 진행 상황을 더 잘 평가하고 검토할 수 있는 방법은 무엇일까요? 우리는 OnGoal을 소개합니다. OnGoal은 사용자가 목표 진행을 더 잘 관리할 수 있도록 돕는 LLM 채팅 인터페이스입니다. OnGoal은 LLM 지원 평가를 통해 목표 정렬에 대한 실시간 피드백을 제공하고, 평가 결과에 대한 설명과 예시를 제공하며, 시간에 따른 목표 진행 상황을 개괄적으로 보여줌으로써 사용자가 복잡한 대화를 더 효과적으로 탐색할 수 있도록 합니다. 20명의 참가자를 대상으로 한 글쓰기 과제 연구에서, 우리는 OnGoal을 목표 추적 기능이 없는 기본 채팅 인터페이스와 비교 평가했습니다. OnGoal을 사용한 참가자들은 목표를 달성하는 데 더 적은 시간과 노력을 들였으며, 오해를 극복하기 위한 새로운 프롬프트 전략을 탐색했습니다. 이는 목표를 추적하고 시각화하는 것이 LLM 대화에서 참여와 회복력을 향상시킬 수 있음을 시사합니다. 우리의 연구 결과는 향후 LLM 채팅 인터페이스의 설계에 영감을 주었으며, 목표 소통을 개선하고, 인지 부하를 줄이며, 상호작용성을 강화하고, LLM 성능을 개선하기 위한 피드백을 가능하게 하는 방향을 제시합니다.

English

As multi-turn dialogues with large language models (LLMs) grow longer and more complex, how can users better evaluate and review progress on their conversational goals? We present OnGoal, an LLM chat interface that helps users better manage goal progress. OnGoal provides real-time feedback on goal alignment through LLM-assisted evaluation, explanations for evaluation results with examples, and overviews of goal progression over time, enabling users to navigate complex dialogues more effectively. Through a study with 20 participants on a writing task, we evaluate OnGoal against a baseline chat interface without goal tracking. Using OnGoal, participants spent less time and effort to achieve their goals while exploring new prompting strategies to overcome miscommunication, suggesting tracking and visualizing goals can enhance engagement and resilience in LLM dialogues. Our findings inspired design implications for future LLM chat interfaces that improve goal communication, reduce cognitive load, enhance interactivity, and enable feedback to improve LLM performance.

OnGoal: 대규모 언어 모델을 활용한 다중 턴 대화에서의 대화 목표 추적 및 시각화

OnGoal: Tracking and Visualizing Conversational Goals in Multi-Turn Dialogue with Large Language Models

초록

Support