OnGoal: Отслеживание и визуализация целей диалога в многоходовых беседах с использованием больших языковых моделей

OnGoal: Tracking and Visualizing Conversational Goals in Multi-Turn Dialogue with Large Language Models

August 28, 2025

Авторы: Adam Coscia, Shunan Guo, Eunyee Koh, Alex Endert

cs.AI

Аннотация

По мере того как многоходовые диалоги с большими языковыми моделями (LLM) становятся длиннее и сложнее, как пользователи могут лучше оценивать и отслеживать прогресс в достижении своих целей? Мы представляем OnGoal — интерфейс чата с LLM, который помогает пользователям более эффективно управлять прогрессом в достижении целей. OnGoal предоставляет обратную связь в реальном времени о соответствии целям с помощью оценки, осуществляемой LLM, объясняет результаты оценки с примерами и предлагает обзор прогресса в достижении целей с течением времени, что позволяет пользователям более эффективно ориентироваться в сложных диалогах. В ходе исследования с участием 20 человек, выполнявших задачу по написанию текста, мы сравнили OnGoal с базовым интерфейсом чата без отслеживания целей. Используя OnGoal, участники тратили меньше времени и усилий для достижения своих целей, одновременно исследуя новые стратегии запросов для преодоления недопонимания, что свидетельствует о том, что отслеживание и визуализация целей могут повысить вовлеченность и устойчивость в диалогах с LLM. Наши результаты вдохновили на разработку рекомендаций для будущих интерфейсов чатов с LLM, которые улучшают коммуникацию целей, снижают когнитивную нагрузку, повышают интерактивность и позволяют получать обратную связь для улучшения производительности LLM.

English

As multi-turn dialogues with large language models (LLMs) grow longer and more complex, how can users better evaluate and review progress on their conversational goals? We present OnGoal, an LLM chat interface that helps users better manage goal progress. OnGoal provides real-time feedback on goal alignment through LLM-assisted evaluation, explanations for evaluation results with examples, and overviews of goal progression over time, enabling users to navigate complex dialogues more effectively. Through a study with 20 participants on a writing task, we evaluate OnGoal against a baseline chat interface without goal tracking. Using OnGoal, participants spent less time and effort to achieve their goals while exploring new prompting strategies to overcome miscommunication, suggesting tracking and visualizing goals can enhance engagement and resilience in LLM dialogues. Our findings inspired design implications for future LLM chat interfaces that improve goal communication, reduce cognitive load, enhance interactivity, and enable feedback to improve LLM performance.