OnGoal: Seguimiento y Visualización de Objetivos Conversacionales en Diálogos de Múltiples Turnos con Modelos de Lenguaje de Gran Escala

OnGoal: Tracking and Visualizing Conversational Goals in Multi-Turn Dialogue with Large Language Models

August 28, 2025

Autores: Adam Coscia, Shunan Guo, Eunyee Koh, Alex Endert

cs.AI

Resumen

A medida que los diálogos de múltiples turnos con modelos de lenguaje de gran escala (LLMs) se vuelven más largos y complejos, ¿cómo pueden los usuarios evaluar y revisar mejor el progreso hacia sus objetivos conversacionales? Presentamos OnGoal, una interfaz de chat con LLM que ayuda a los usuarios a gestionar mejor el progreso de sus objetivos. OnGoal proporciona retroalimentación en tiempo real sobre la alineación con los objetivos mediante evaluaciones asistidas por LLM, explicaciones de los resultados de evaluación con ejemplos y resúmenes del progreso de los objetivos a lo largo del tiempo, permitiendo a los usuarios navegar diálogos complejos de manera más efectiva. A través de un estudio con 20 participantes en una tarea de escritura, evaluamos OnGoal frente a una interfaz de chat base sin seguimiento de objetivos. Al usar OnGoal, los participantes dedicaron menos tiempo y esfuerzo para alcanzar sus objetivos mientras exploraban nuevas estrategias de indicaciones para superar malentendidos, lo que sugiere que el seguimiento y visualización de objetivos puede mejorar el compromiso y la resiliencia en diálogos con LLMs. Nuestros hallazgos inspiraron implicaciones de diseño para futuras interfaces de chat con LLM que mejoren la comunicación de objetivos, reduzcan la carga cognitiva, aumenten la interactividad y permitan retroalimentación para mejorar el rendimiento de los LLMs.

English

As multi-turn dialogues with large language models (LLMs) grow longer and more complex, how can users better evaluate and review progress on their conversational goals? We present OnGoal, an LLM chat interface that helps users better manage goal progress. OnGoal provides real-time feedback on goal alignment through LLM-assisted evaluation, explanations for evaluation results with examples, and overviews of goal progression over time, enabling users to navigate complex dialogues more effectively. Through a study with 20 participants on a writing task, we evaluate OnGoal against a baseline chat interface without goal tracking. Using OnGoal, participants spent less time and effort to achieve their goals while exploring new prompting strategies to overcome miscommunication, suggesting tracking and visualizing goals can enhance engagement and resilience in LLM dialogues. Our findings inspired design implications for future LLM chat interfaces that improve goal communication, reduce cognitive load, enhance interactivity, and enable feedback to improve LLM performance.