意図は声高に語る：応答模倣を超えた制御可能なユーザーシミュレーション

要旨

ユーザーシミュレータは、対話型アシスタントの訓練と評価のためのスケーラブルな環境として広く利用されている。次のユーザーターンの生成は本質的に一対多であり、同じプロフィールと対話コンテキストでも、異なる局所的対話意図を持つ複数の妥当な継続が成立し得る。したがって、流暢な応答であっても、修復ではなく受容といった不適切な意図を通じて対話を進めてしまう可能性がある。我々の重要な洞察は、制御可能なユーザーシミュレーションでは、次のユーザーターンが実現すべき局所的対話意図と、その意図が言語でどのように表現されるかを分離すべきだという点である。本稿では、対話意図を各ターンごとの明示的なディレクティブとして公開するUserIDA（User Intent-Directive Alignment）を提案する。UserIDAは、6方向の意図インターフェースを定義し、教師ありファインチューニングを通じてディレクティブ条件付き生成を学習し、グループベースの強化学習において意図較正型ポリシー最適化を用いる。報酬は総合的な応答品質を維持しつつ、混合グループ内で意図に反する候補が意図に適合する代替候補よりも下にランク付けされることを保証する。LMSYS-USPにおいて、UserIDAは86.6%の意図精度を達成し、最強の専用ユーザーシミュレータベースラインを24.3パーセントポイント上回り、意味的・文体的類似性も改善する。コンテキスト内介入においては、評価された対話状態の91.7%で6つの目標意図のうち少なくとも4つを実現し、最強の外部ベースラインの22.9%と対照的である。これらの結果は、ユーザーシミュレーションにおいて、ターン単位の意図制御が応答忠実性を補完する次元であることを示す。

English

User simulators are widely used as scalable environments for training and evaluating interactive assistants. Generating the next user turn is inherently one-to-many: the same profile and dialogue context may support multiple plausible continuations with different local interaction intents. A fluent response may therefore advance the dialogue through an inappropriate intent, such as acceptance rather than repair. Our key insight is that controllable user simulation should separate which local interaction intent the next user turn should realize from how that intent is expressed in language. We introduce UserIDA (User Intent-Directive Alignment), which exposes interaction intent as an explicit per-turn directive. UserIDA defines a six-way intent interface, learns directive-conditioned generation through supervised fine-tuning, and uses intent-calibrated policy optimization during group-based reinforcement learning. The reward preserves composite response quality while ensuring that intent-violating candidates rank below compliant alternatives in mixed groups. On LMSYS-USP, UserIDA achieves 86.6\% intent accuracy, outperforming the strongest dedicated user-simulator baseline by 24.3 percentage points while improving semantic and stylistic similarity. In within-context interventions, it realizes at least four of the six target intents in 91.7\% of evaluated dialogue states, compared with 22.9\% for the strongest external baseline. These results establish per-turn intent control as a complementary dimension to response fidelity in user simulation.