OnGoal: 大規模言語モデルを用いた多ターン対話における会話目標の追跡と可視化

要旨

大規模言語モデル（LLM）との多ターン対話が長く複雑になるにつれ、ユーザーはどのようにして会話の目標に対する進捗をより適切に評価し、レビューできるでしょうか？本論文では、ユーザーが目標の進捗をより良く管理できるLLMチャットインターフェース「OnGoal」を提案します。OnGoalは、LLMを活用した評価を通じて目標との整合性に関するリアルタイムフィードバックを提供し、評価結果の説明と具体例、および時間経過に伴う目標の進捗概要を提示することで、ユーザーが複雑な対話をより効果的に進められるようにします。20名の参加者を対象にした執筆タスクを用いた調査では、OnGoalを目標追跡機能のないベースラインのチャットインターフェースと比較しました。OnGoalを使用した参加者は、目標を達成するために費やす時間と労力を削減しつつ、誤解を解消するための新しいプロンプト戦略を探求し、目標の追跡と可視化がLLM対話におけるエンゲージメントとレジリエンスを向上させる可能性を示唆しました。本研究の結果から、目標のコミュニケーションを改善し、認知負荷を軽減し、インタラクティブ性を高め、LLMのパフォーマンス向上に役立つフィードバックを可能にする、将来のLLMチャットインターフェースの設計指針が得られました。

English

As multi-turn dialogues with large language models (LLMs) grow longer and more complex, how can users better evaluate and review progress on their conversational goals? We present OnGoal, an LLM chat interface that helps users better manage goal progress. OnGoal provides real-time feedback on goal alignment through LLM-assisted evaluation, explanations for evaluation results with examples, and overviews of goal progression over time, enabling users to navigate complex dialogues more effectively. Through a study with 20 participants on a writing task, we evaluate OnGoal against a baseline chat interface without goal tracking. Using OnGoal, participants spent less time and effort to achieve their goals while exploring new prompting strategies to overcome miscommunication, suggesting tracking and visualizing goals can enhance engagement and resilience in LLM dialogues. Our findings inspired design implications for future LLM chat interfaces that improve goal communication, reduce cognitive load, enhance interactivity, and enable feedback to improve LLM performance.

OnGoal: 大規模言語モデルを用いた多ターン対話における会話目標の追跡と可視化

OnGoal: Tracking and Visualizing Conversational Goals in Multi-Turn Dialogue with Large Language Models

要旨

Support