OnGoal: Rastreamento e Visualização de Objetivos Conversacionais em Diálogos de Múltiplos Turnos com Modelos de Linguagem de Grande Escala

OnGoal: Tracking and Visualizing Conversational Goals in Multi-Turn Dialogue with Large Language Models

August 28, 2025

Autores: Adam Coscia, Shunan Guo, Eunyee Koh, Alex Endert

cs.AI

Resumo

À medida que os diálogos de múltiplos turnos com modelos de linguagem de grande escala (LLMs) se tornam mais longos e complexos, como os usuários podem avaliar e revisar melhor o progresso em relação aos seus objetivos conversacionais? Apresentamos o OnGoal, uma interface de chat com LLM que ajuda os usuários a gerenciar melhor o progresso de seus objetivos. O OnGoal fornece feedback em tempo real sobre o alinhamento de objetivos por meio de avaliação assistida por LLM, explicações para os resultados da avaliação com exemplos e visões gerais da progressão dos objetivos ao longo do tempo, permitindo que os usuários naveguem em diálogos complexos de forma mais eficaz. Por meio de um estudo com 20 participantes em uma tarefa de escrita, avaliamos o OnGoal em comparação com uma interface de chat básica sem rastreamento de objetivos. Usando o OnGoal, os participantes gastaram menos tempo e esforço para alcançar seus objetivos enquanto exploravam novas estratégias de prompt para superar falhas de comunicação, sugerindo que o rastreamento e a visualização de objetivos podem aumentar o engajamento e a resiliência em diálogos com LLMs. Nossas descobertas inspiraram implicações de design para futuras interfaces de chat com LLM que melhoram a comunicação de objetivos, reduzem a carga cognitiva, aumentam a interatividade e permitem feedback para melhorar o desempenho dos LLMs.

English

As multi-turn dialogues with large language models (LLMs) grow longer and more complex, how can users better evaluate and review progress on their conversational goals? We present OnGoal, an LLM chat interface that helps users better manage goal progress. OnGoal provides real-time feedback on goal alignment through LLM-assisted evaluation, explanations for evaluation results with examples, and overviews of goal progression over time, enabling users to navigate complex dialogues more effectively. Through a study with 20 participants on a writing task, we evaluate OnGoal against a baseline chat interface without goal tracking. Using OnGoal, participants spent less time and effort to achieve their goals while exploring new prompting strategies to overcome miscommunication, suggesting tracking and visualizing goals can enhance engagement and resilience in LLM dialogues. Our findings inspired design implications for future LLM chat interfaces that improve goal communication, reduce cognitive load, enhance interactivity, and enable feedback to improve LLM performance.