OnGoal: Monitoraggio e Visualizzazione degli Obiettivi Conversazionali nei Dialoghi Multi-Turn con Modelli Linguistici di Grande Scala

OnGoal: Tracking and Visualizing Conversational Goals in Multi-Turn Dialogue with Large Language Models

August 28, 2025

Autori: Adam Coscia, Shunan Guo, Eunyee Koh, Alex Endert

cs.AI

Abstract

Man mano che i dialoghi multi-turn con i grandi modelli linguistici (LLM) diventano più lunghi e complessi, come possono gli utenti valutare e rivedere meglio i progressi verso i loro obiettivi conversazionali? Presentiamo OnGoal, un'interfaccia di chat con LLM che aiuta gli utenti a gestire meglio i progressi verso gli obiettivi. OnGoal fornisce feedback in tempo reale sull'allineamento agli obiettivi attraverso valutazioni assistite da LLM, spiegazioni dei risultati di valutazione con esempi e panoramiche sull'avanzamento degli obiettivi nel tempo, consentendo agli utenti di navigare in dialoghi complessi in modo più efficace. Attraverso uno studio con 20 partecipanti su un compito di scrittura, abbiamo valutato OnGoal rispetto a un'interfaccia di chat di base senza tracciamento degli obiettivi. Utilizzando OnGoal, i partecipanti hanno impiegato meno tempo e sforzo per raggiungere i loro obiettivi, esplorando nuove strategie di prompting per superare i problemi di comunicazione, suggerendo che il tracciamento e la visualizzazione degli obiettivi possono migliorare l'engagement e la resilienza nei dialoghi con LLM. Le nostre scoperte hanno ispirato implicazioni di progettazione per future interfacce di chat con LLM che migliorano la comunicazione degli obiettivi, riducono il carico cognitivo, aumentano l'interattività e abilitano feedback per migliorare le prestazioni degli LLM.

English

As multi-turn dialogues with large language models (LLMs) grow longer and more complex, how can users better evaluate and review progress on their conversational goals? We present OnGoal, an LLM chat interface that helps users better manage goal progress. OnGoal provides real-time feedback on goal alignment through LLM-assisted evaluation, explanations for evaluation results with examples, and overviews of goal progression over time, enabling users to navigate complex dialogues more effectively. Through a study with 20 participants on a writing task, we evaluate OnGoal against a baseline chat interface without goal tracking. Using OnGoal, participants spent less time and effort to achieve their goals while exploring new prompting strategies to overcome miscommunication, suggesting tracking and visualizing goals can enhance engagement and resilience in LLM dialogues. Our findings inspired design implications for future LLM chat interfaces that improve goal communication, reduce cognitive load, enhance interactivity, and enable feedback to improve LLM performance.