QUANDO AGIRE, QUANDO ASPETTARE: Modellazione delle traiettorie strutturali per la triggerabilità dell'intento nei dialoghi orientati al compito

WHEN TO ACT, WHEN TO WAIT: Modeling Structural Trajectories for Intent Triggerability in Task-Oriented Dialogue

June 2, 2025

Autori: Yaoyao Qian, Jindan Huang, Yuanli Wang, Simon Yu, Kyrie Zhixuan Zhou, Jiayuan Mao, Mingfu Liang, Hanhan Zhou

cs.AI

Abstract

I sistemi di dialogo orientati ai compiti spesso incontrano difficoltà quando le espressioni degli utenti appaiono semanticamente complete ma mancano delle informazioni strutturali necessarie per un'azione appropriata del sistema. Ciò accade perché gli utenti frequentemente non comprendono appieno i propri bisogni, mentre i sistemi richiedono definizioni precise delle intenzioni. Gli attuali agenti basati su LLM non riescono a distinguere efficacemente tra espressioni linguisticamente complete e quelle attivabili contestualmente, mancando di framework per la formazione collaborativa delle intenzioni. Presentiamo STORM, un framework che modella le dinamiche di informazione asimmetrica attraverso conversazioni tra UserLLM (con accesso interno completo) e AgentLLM (solo comportamento osservabile). STORM produce corpora annotati che catturano le traiettorie delle espressioni e le transizioni cognitive latenti, consentendo un'analisi sistematica dello sviluppo della comprensione collaborativa. I nostri contributi includono: (1) la formalizzazione dell'elaborazione asimmetrica delle informazioni nei sistemi di dialogo; (2) la modellazione della formazione delle intenzioni che traccia l'evoluzione della comprensione collaborativa; e (3) metriche di valutazione che misurano i miglioramenti cognitivi interni insieme alle prestazioni del compito. Esperimenti condotti su quattro modelli linguistici rivelano che un'incertezza moderata (40-60%) può superare la completa trasparenza in determinati scenari, con modelli specifici che suggeriscono una riconsiderazione dell'ottimale completezza delle informazioni nella collaborazione uomo-AI. Questi risultati contribuiscono alla comprensione delle dinamiche di ragionamento asimmetrico e informano la progettazione di sistemi di dialogo calibrati sull'incertezza.

English

Task-oriented dialogue systems often face difficulties when user utterances seem semantically complete but lack necessary structural information for appropriate system action. This arises because users frequently do not fully understand their own needs, while systems require precise intent definitions. Current LLM-based agents cannot effectively distinguish between linguistically complete and contextually triggerable expressions, lacking frameworks for collaborative intent formation. We present STORM, a framework modeling asymmetric information dynamics through conversations between UserLLM (full internal access) and AgentLLM (observable behavior only). STORM produces annotated corpora capturing expression trajectories and latent cognitive transitions, enabling systematic analysis of collaborative understanding development. Our contributions include: (1) formalizing asymmetric information processing in dialogue systems; (2) modeling intent formation tracking collaborative understanding evolution; and (3) evaluation metrics measuring internal cognitive improvements alongside task performance. Experiments across four language models reveal that moderate uncertainty (40-60%) can outperform complete transparency in certain scenarios, with model-specific patterns suggesting reconsideration of optimal information completeness in human-AI collaboration. These findings contribute to understanding asymmetric reasoning dynamics and inform uncertainty-calibrated dialogue system design.