WANNEER TE HANDELEN, WANNEER TE WACHTEN: Modellering van Structurele Trajecten voor Intentie-Triggerbaarheid in Taakgerichte Dialogen

WHEN TO ACT, WHEN TO WAIT: Modeling Structural Trajectories for Intent Triggerability in Task-Oriented Dialogue

June 2, 2025

Auteurs: Yaoyao Qian, Jindan Huang, Yuanli Wang, Simon Yu, Kyrie Zhixuan Zhou, Jiayuan Mao, Mingfu Liang, Hanhan Zhou

cs.AI

Samenvatting

Taakgerichte dialoogsystemen ondervinden vaak moeilijkheden wanneer gebruikersuitingen semantisch compleet lijken, maar de nodige structurele informatie missen voor een passende systeemactie. Dit ontstaat omdat gebruikers vaak hun eigen behoeften niet volledig begrijpen, terwijl systemen precieze intentiedefinities vereisen. Huidige LLM-gebaseerde agents kunnen niet effectief onderscheid maken tussen linguïstisch complete en contextueel triggerbare uitdrukkingen, en missen kaders voor collaboratieve intentievorming. Wij presenteren STORM, een framework dat asymmetrische informatiedynamiek modelleert door gesprekken tussen UserLLM (volledige interne toegang) en AgentLLM (alleen observeerbaar gedrag). STORM produceert geannoteerde corpora die uitdrukkingstrajecten en latente cognitieve overgangen vastleggen, wat een systematische analyse van de ontwikkeling van collaboratief begrip mogelijk maakt. Onze bijdragen omvatten: (1) het formaliseren van asymmetrische informatieverwerking in dialoogsystemen; (2) het modelleren van intentievorming die de evolutie van collaboratief begrip volgt; en (3) evaluatiemetrics die interne cognitieve verbeteringen meten naast taakprestaties. Experimenten met vier taalmmodellen tonen aan dat matige onzekerheid (40-60%) in bepaalde scenario's complete transparantie kan overtreffen, waarbij modelspecifieke patronen suggereren om de optimale informatievolledigheid in mens-AI-samenwerking te heroverwegen. Deze bevindingen dragen bij aan het begrip van asymmetrische redeneerdynamiek en informeren het ontwerp van onzekerheid-gekalibreerde dialoogsystemen.

English

Task-oriented dialogue systems often face difficulties when user utterances seem semantically complete but lack necessary structural information for appropriate system action. This arises because users frequently do not fully understand their own needs, while systems require precise intent definitions. Current LLM-based agents cannot effectively distinguish between linguistically complete and contextually triggerable expressions, lacking frameworks for collaborative intent formation. We present STORM, a framework modeling asymmetric information dynamics through conversations between UserLLM (full internal access) and AgentLLM (observable behavior only). STORM produces annotated corpora capturing expression trajectories and latent cognitive transitions, enabling systematic analysis of collaborative understanding development. Our contributions include: (1) formalizing asymmetric information processing in dialogue systems; (2) modeling intent formation tracking collaborative understanding evolution; and (3) evaluation metrics measuring internal cognitive improvements alongside task performance. Experiments across four language models reveal that moderate uncertainty (40-60%) can outperform complete transparency in certain scenarios, with model-specific patterns suggesting reconsideration of optimal information completeness in human-AI collaboration. These findings contribute to understanding asymmetric reasoning dynamics and inform uncertainty-calibrated dialogue system design.