OnGoal: Conversatiedoelen volgen en visualiseren in meerzijdige dialogen met grote taalmodellen

OnGoal: Tracking and Visualizing Conversational Goals in Multi-Turn Dialogue with Large Language Models

August 28, 2025

Auteurs: Adam Coscia, Shunan Guo, Eunyee Koh, Alex Endert

cs.AI

Samenvatting

Naarmate meeromvattende dialogen met grote taalmodellen (LLMs) langer en complexer worden, hoe kunnen gebruikers de voortgang van hun gespreksdoelen beter evalueren en beoordelen? Wij presenteren OnGoal, een LLM-chatinterface die gebruikers helpt om doelvoortgang beter te beheren. OnGoal biedt realtime feedback over doelafstemming via LLM-ondersteunde evaluatie, uitleg van evaluatieresultaten met voorbeelden, en overzichten van doelvoortgang over tijd, waardoor gebruikers complexe dialogen effectiever kunnen navigeren. Via een studie met 20 deelnemers aan een schrijftaak evalueren we OnGoal tegenover een baseline-chatinterface zonder doelvolgsysteem. Met OnGoal besteedden deelnemers minder tijd en moeite om hun doelen te bereiken, terwijl ze nieuwe promptstrategieën verkenden om miscommunicatie te overwinnen, wat suggereert dat het volgen en visualiseren van doelen betrokkenheid en veerkracht in LLM-dialogen kan vergroten. Onze bevindingen inspireerden ontwerpimplicaties voor toekomstige LLM-chatinterfaces die doelcommunicatie verbeteren, cognitieve belasting verminderen, interactiviteit vergroten en feedback mogelijk maken om LLM-prestaties te verbeteren.

English

As multi-turn dialogues with large language models (LLMs) grow longer and more complex, how can users better evaluate and review progress on their conversational goals? We present OnGoal, an LLM chat interface that helps users better manage goal progress. OnGoal provides real-time feedback on goal alignment through LLM-assisted evaluation, explanations for evaluation results with examples, and overviews of goal progression over time, enabling users to navigate complex dialogues more effectively. Through a study with 20 participants on a writing task, we evaluate OnGoal against a baseline chat interface without goal tracking. Using OnGoal, participants spent less time and effort to achieve their goals while exploring new prompting strategies to overcome miscommunication, suggesting tracking and visualizing goals can enhance engagement and resilience in LLM dialogues. Our findings inspired design implications for future LLM chat interfaces that improve goal communication, reduce cognitive load, enhance interactivity, and enable feedback to improve LLM performance.