意圖勝於言辭:超越回應模仿的可控使用者模擬 近年來,大型語言模型(LLM)的快速發展日益凸顯了使用者模擬在對話系統評估中的重要性。然而,基於LLM的使用者模擬器往往難以透過回應模仿實現對使用者行為的精細控制。我們主張,實現可控使用者模擬的關鍵在於超越表面回應來捕捉意圖層面的行為。為此,我們提出了INTCUE,這是一個由使用者意圖引導的可控使用者模擬框架,以結構化方式對對話行為進行建模。其核心思路是,從真實對話中提取的意圖流可以有效引導LLM生成目標導向的使用者回應,同時透過意圖層級的約束提供對模擬過程的靈活控制。我們在兩個對話情境中評估了所提出的模擬器:任務導向對話情境下的對話系統評估,以及一般情境下的對話資料增強。實驗結果表明,我們的模擬器能有效模擬多樣化而合理的使用者行為,並在跨越多個基線方法的異質使用者群體上實現穩定控制。此外,在對話系統評估中,我們的使用者模擬器所生成的互動能產生與真實人類對話一致的系統評估結果,且在成本上僅需微不足道的一部分。
Intent Speaks Louder: Controllable User Simulation Beyond Response Imitation
August 10, 2026
作者: Bo Wang, Ruixing Zhang, Yunqi Liu, Yang Zhang, Liangzhe Han, Tongyu Zhu, Leilei Sun
cs.AI
摘要
使用者模擬器被廣泛用作訓練與評估互動式助理的可擴充環境。生成下一輪使用者發言本質上是一對多的:相同的設定檔與對話脈絡可能支援多種合理的後續走向,且各自具有不同的局部互動意圖。因此,流暢的回應可能透過不適當的意圖推進對話,例如接受而非修正。我們的核心見解是,可控的使用者模擬應將下一輪使用者發言應實現的局部互動意圖,與該意圖在語言上的表達方式分離開來。我們提出 UserIDA(使用者意圖-指令對齊),將互動意圖呈現為每輪的明確指令。UserIDA 定義了六向意圖介面,透過監督式微調學習指令條件化生成,並在基於群組的強化學習過程中採用意圖校準策略最佳化。獎勵機制在維持綜合回應品質的同時,確保違反意圖的候選項在混合群組中排名低於符合意圖的替代項。在 LMSYS-USP 上,UserIDA 達到了 86.6% 的意圖準確率,比最強的專用使用者模擬器基線高出 24.3 個百分點,同時提升了語意與風格相似度。在脈絡內干預中,它在 91.7% 的受評估對話狀態中實現了六種目標意圖中的至少四種,而最強外部基線僅為 22.9%。這些結果確立了逐輪意圖控制作為使用者模擬中回應保真度的互補維度。
English
User simulators are widely used as scalable environments for training and evaluating interactive assistants. Generating the next user turn is inherently one-to-many: the same profile and dialogue context may support multiple plausible continuations with different local interaction intents. A fluent response may therefore advance the dialogue through an inappropriate intent, such as acceptance rather than repair. Our key insight is that controllable user simulation should separate which local interaction intent the next user turn should realize from how that intent is expressed in language. We introduce UserIDA (User Intent-Directive Alignment), which exposes interaction intent as an explicit per-turn directive. UserIDA defines a six-way intent interface, learns directive-conditioned generation through supervised fine-tuning, and uses intent-calibrated policy optimization during group-based reinforcement learning. The reward preserves composite response quality while ensuring that intent-violating candidates rank below compliant alternatives in mixed groups. On LMSYS-USP, UserIDA achieves 86.6\% intent accuracy, outperforming the strongest dedicated user-simulator baseline by 24.3 percentage points while improving semantic and stylistic similarity. In within-context interventions, it realizes at least four of the six target intents in 91.7\% of evaluated dialogue states, compared with 22.9\% for the strongest external baseline. These results establish per-turn intent control as a complementary dimension to response fidelity in user simulation.