会話型AIにおけるLLMベースユーザーシミュレータの目標整合性

要旨

ユーザーシミュレータは、会話型AIにおいて不可欠な存在であり、シミュレートされたインタラクションを通じてエージェントの開発と評価をスケーラブルに実現します。現在の大規模言語モデル（LLMs）はユーザーシミュレーション能力を向上させていますが、マルチターン会話において一貫した目標指向の行動を示すことが困難であることが明らかになりました。これは、下流アプリケーションにおける信頼性を損なう重大な制約です。本論文では、会話全体を通じてユーザーの目標進捗を追跡する新たなフレームワークである「ユーザー目標状態追跡（UGST）」を提案します。UGSTを活用し、目標進捗を自律的に追跡し、目標に沿った応答を生成するための三段階の方法論を提示します。さらに、ユーザーシミュレータにおける目標整合性を測定するための包括的な評価指標を確立し、我々のアプローチが2つのベンチマーク（MultiWOZ 2.4および{\tau}-Bench）において大幅な改善をもたらすことを実証します。本論文の貢献は、会話型AIにおける重要なギャップを埋め、UGSTを目標整合型ユーザーシミュレータ開発の必須フレームワークとして確立することです。

English

User simulators are essential to conversational AI, enabling scalable agent development and evaluation through simulated interactions. While current Large Language Models (LLMs) have advanced user simulation capabilities, we reveal that they struggle to consistently demonstrate goal-oriented behavior across multi-turn conversations--a critical limitation that compromises their reliability in downstream applications. We introduce User Goal State Tracking (UGST), a novel framework that tracks user goal progression throughout conversations. Leveraging UGST, we present a three-stage methodology for developing user simulators that can autonomously track goal progression and reason to generate goal-aligned responses. Moreover, we establish comprehensive evaluation metrics for measuring goal alignment in user simulators, and demonstrate that our approach yields substantial improvements across two benchmarks (MultiWOZ 2.4 and {\tau}-Bench). Our contributions address a critical gap in conversational AI and establish UGST as an essential framework for developing goal-aligned user simulators.

会話型AIにおけるLLMベースユーザーシミュレータの目標整合性

Goal Alignment in LLM-Based User Simulators for Conversational AI

要旨

Support