STREAM: ストリーミングメディアからの高価値タスク指向対話のマイニングのためのデータ中心フレームワーク

要旨

垂直領域向け大規模言語モデルは、複雑でドメイン固有のタスク指向型対話データの不足がボトルネックとなっている。既存のデータ取得パイプラインは、専門家によるアノテーションは高コストであり、実際のサービス会話はプライバシーや商業的制約によって制限され、静的なコーパスは時間とともに陳腐化するという持続的な三難問題に直面している。本稿では、公開ストリーミングメディア（ライブ配信やショート動画）を活用して高価値なサービス対話を大規模に合成するデータ中心型フレームワークStreamを提案する。Streamはノイズの多いストリームから本質的なインタラクション信号を抽出し、役割に基づくペルソナ構築と会話設計図（Conversational Blueprint）構築を統合して対話を合成する。さらに、検索拡張生成（RAG）を採用して知識を考慮した応答を実現する。Streamに基づき、自動車、飲食店、ホテルをカバーする大規模マルチドメインデータセットStreamDialを公開する。StreamDialは合計87,498対話セッションと1,497,320ターンを含み、セッションあたり平均17.11ターンで、ドメイン間で同程度の規模である。各セッションは、対話履歴と明示的なユーザー/エージェントのペルソナ、および会話設計図を対応付ける構造化された4つ組⟨P_u, P_a, B, H⟩として整理され、要件発掘、制約の競合、交渉、リカバリなど、現実的なサービス行動を捉えている。自動評価と下流タスクによる評価では、StreamDialが強力なベースラインと比較して内在的な対話品質を向上させ、StreamDialで訓練されたモデルが複数のバックボーンにわたって対話状態追跡（DST）を改善することが示された。さらに、完了した人間評価セットと、制御された訓練予算下でのQwen3-8Bにおける有望な多言語転移についても報告する。データはhttps://github.com/hitxueliang/DialogDataSetBySTREAMで公開されている。

English

Large language models for vertical domains are bottlenecked by the scarcity of complex, domain-specific task-oriented dialogues. Existing data acquisition pipelines face a persistent trilemma: expert annotation is expensive, real-world service conversations are constrained by privacy and commercial restrictions, and static corpora quickly become temporally stale. We propose Stream, a data-centric framework that leverages publicly available streaming media (live streams and short videos) to synthesize high-value service dialogues at scale. Stream mines authentic interaction signals from noisy streams and synthesizes conversations by integrating role-grounded persona construction with Conversational Blueprint construction; it further adopts retrieval-augmented generation (RAG) to support knowledge-aware responses. Based on Stream, we release StreamDial, a large-scale multi-domain dataset covering Automotive, Restaurant, and Hotel. StreamDial contains 87,498 dialogue sessions and 1,497,320 turns in total, with an average of 17.11 turns per session and a comparable scale across domains. Each session is organized as a structured quadruplet langle P_u, P_a, B, H rangle that pairs dialogue history with explicit user/agent personas and a Conversational Blueprint, capturing realistic service behaviors such as requirement mining, constraint conflicts, negotiation, and recovery. Evaluations with automatic judges and downstream tasks show that StreamDial improves intrinsic dialogue quality over strong baselines, and models trained with StreamDial improve Dialogue State Tracking across backbones; we further report a completed human-evaluation set and encouraging multilingual transfer on Qwen3-8B under a controlled training budget. The data is released in https://github.com/hitxueliang/DialogDataSetBySTREAM.