OnGoal: Verfolgung und Visualisierung von Gesprächszielen in mehrschrittigen Dialogen mit großen Sprachmodellen

OnGoal: Tracking and Visualizing Conversational Goals in Multi-Turn Dialogue with Large Language Models

August 28, 2025

papers.authors: Adam Coscia, Shunan Guo, Eunyee Koh, Alex Endert

cs.AI

papers.abstract

Da Mehrrunden-Dialoge mit großen Sprachmodellen (LLMs) länger und komplexer werden, wie können Nutzer den Fortschritt ihrer Gesprächsziele besser bewerten und überprüfen? Wir stellen OnGoal vor, eine LLM-Chat-Oberfläche, die Nutzern hilft, den Zielfortschritt besser zu verwalten. OnGoal bietet Echtzeit-Feedback zur Zielausrichtung durch LLM-gestützte Bewertung, Erklärungen für Bewertungsergebnisse mit Beispielen sowie Übersichten über den Zielverlauf im Zeitverlauf, wodurch Nutzer komplexe Dialoge effektiver navigieren können. In einer Studie mit 20 Teilnehmern zu einer Schreibaufgabe bewerten wir OnGoal im Vergleich zu einer Basis-Chat-Oberfläche ohne Zielverfolgung. Mit OnGoal benötigten die Teilnehmer weniger Zeit und Aufwand, um ihre Ziele zu erreichen, während sie neue Prompting-Strategien erkundeten, um Missverständnisse zu überwinden. Dies deutet darauf hin, dass die Verfolgung und Visualisierung von Zielen die Engagement und Resilienz in LLM-Dialogen steigern kann. Unsere Erkenntnisse inspirierten Designimplikationen für zukünftige LLM-Chat-Oberflächen, die die Zielkommunikation verbessern, die kognitive Belastung reduzieren, die Interaktivität erhöhen und Feedback ermöglichen, um die Leistung von LLMs zu verbessern.

English

As multi-turn dialogues with large language models (LLMs) grow longer and more complex, how can users better evaluate and review progress on their conversational goals? We present OnGoal, an LLM chat interface that helps users better manage goal progress. OnGoal provides real-time feedback on goal alignment through LLM-assisted evaluation, explanations for evaluation results with examples, and overviews of goal progression over time, enabling users to navigate complex dialogues more effectively. Through a study with 20 participants on a writing task, we evaluate OnGoal against a baseline chat interface without goal tracking. Using OnGoal, participants spent less time and effort to achieve their goals while exploring new prompting strategies to overcome miscommunication, suggesting tracking and visualizing goals can enhance engagement and resilience in LLM dialogues. Our findings inspired design implications for future LLM chat interfaces that improve goal communication, reduce cognitive load, enhance interactivity, and enable feedback to improve LLM performance.