QUAND AGIR, QUAND ATTENDRE : Modélisation des trajectoires structurelles pour la déclenchebilité des intentions dans les dialogues orientés tâches

WHEN TO ACT, WHEN TO WAIT: Modeling Structural Trajectories for Intent Triggerability in Task-Oriented Dialogue

June 2, 2025

Auteurs: Yaoyao Qian, Jindan Huang, Yuanli Wang, Simon Yu, Kyrie Zhixuan Zhou, Jiayuan Mao, Mingfu Liang, Hanhan Zhou

cs.AI

Résumé

Les systèmes de dialogue orientés tâches rencontrent souvent des difficultés lorsque les énoncés des utilisateurs semblent sémantiquement complets mais manquent d'informations structurelles nécessaires pour une action appropriée du système. Cela survient car les utilisateurs ne comprennent souvent pas pleinement leurs propres besoins, tandis que les systèmes nécessitent des définitions d'intention précises. Les agents basés sur LLM actuels ne peuvent pas distinguer efficacement entre les expressions linguistiquement complètes et celles déclenchables contextuellement, manquant de cadres pour la formation collaborative des intentions. Nous présentons STORM, un cadre modélisant la dynamique de l'information asymétrique à travers des conversations entre UserLLM (accès interne complet) et AgentLLM (comportement observable uniquement). STORM produit des corpus annotés capturant les trajectoires d'expression et les transitions cognitives latentes, permettant une analyse systématique du développement de la compréhension collaborative. Nos contributions incluent : (1) la formalisation du traitement de l'information asymétrique dans les systèmes de dialogue ; (2) la modélisation de la formation des intentions en suivant l'évolution de la compréhension collaborative ; et (3) des métriques d'évaluation mesurant les améliorations cognitives internes parallèlement à la performance des tâches. Les expériences sur quatre modèles de langage révèlent qu'une incertitude modérée (40-60%) peut surpasser la transparence complète dans certains scénarios, avec des modèles spécifiques suggérant une reconsidération de l'optimalité de la complétude de l'information dans la collaboration humain-IA. Ces résultats contribuent à la compréhension de la dynamique du raisonnement asymétrique et informent la conception de systèmes de dialogue calibrés sur l'incertitude.

English

Task-oriented dialogue systems often face difficulties when user utterances seem semantically complete but lack necessary structural information for appropriate system action. This arises because users frequently do not fully understand their own needs, while systems require precise intent definitions. Current LLM-based agents cannot effectively distinguish between linguistically complete and contextually triggerable expressions, lacking frameworks for collaborative intent formation. We present STORM, a framework modeling asymmetric information dynamics through conversations between UserLLM (full internal access) and AgentLLM (observable behavior only). STORM produces annotated corpora capturing expression trajectories and latent cognitive transitions, enabling systematic analysis of collaborative understanding development. Our contributions include: (1) formalizing asymmetric information processing in dialogue systems; (2) modeling intent formation tracking collaborative understanding evolution; and (3) evaluation metrics measuring internal cognitive improvements alongside task performance. Experiments across four language models reveal that moderate uncertainty (40-60%) can outperform complete transparency in certain scenarios, with model-specific patterns suggesting reconsideration of optimal information completeness in human-AI collaboration. These findings contribute to understanding asymmetric reasoning dynamics and inform uncertainty-calibrated dialogue system design.