STREAM: Ein datenzentriertes Framework zur Extraktion hochwertiger aufgabenorientierter Dialoge aus Streaming-Medien

Zusammenfassung

Große Sprachmodelle für vertikale Domänen werden durch den Mangel an komplexen, domänenspezifischen aufgabenorientierten Dialogen eingeschränkt. Bestehende Datenerfassungspipelines stehen vor einem beständigen Trilemma: Expertenannotation ist teuer, reale Dienstleistungsgespräche unterliegen Datenschutz- und Geschäftsbeschränkungen, und statische Korpora werden schnell zeitlich veraltet. Wir schlagen Stream vor, einen datenzentrischen Rahmen, der öffentlich zugängliche Streaming-Medien (Livestreams und Kurzvideos) nutzt, um hochwertige Dienstleistungsdialoge in großem Maßstab zu synthetisieren. Stream gewinnt authentische Interaktionssignale aus verrauschten Streams und synthetisiert Gespräche, indem es eine rollenbasierte Persona-Konstruktion mit der Erstellung von Gesprächsbauplänen (Conversational Blueprints) integriert; darüber hinaus wird eine Retrieval-gestützte Generierung (RAG) eingesetzt, um wissensbewusste Antworten zu unterstützen. Auf Basis von Stream veröffentlichen wir StreamDial, einen groß angelegten multidomänen Datensatz für die Bereiche Automobil, Restaurant und Hotel. StreamDial enthält insgesamt 87.498 Dialogsitzungen und 1.497.320 Gesprächsbeiträge bei durchschnittlich 17,11 Beiträgen pro Sitzung und einer vergleichbaren Größe über die Domänen hinweg. Jede Sitzung ist als strukturiertes Quadrupel ⟨P_u, P_a, B, H⟩ organisiert, das die Dialoghistorie mit expliziten Benutzer-/Agent-Personas und einem Gesprächsbauplan paart und realistische Serviceverhaltensweisen wie Anforderungsgewinnung, Einschränkungskonflikte, Verhandlung und Fehlerbehebung erfasst. Auswertungen mit automatischen Metriken und nachgelagerten Aufgaben zeigen, dass StreamDial die intrinsische Dialogqualität im Vergleich zu starken Baselines verbessert und dass mit StreamDial trainierte Modelle das Dialogue State Tracking über verschiedene Backbones hinweg verbessern; ferner berichten wir über einen vollständig manuell evaluierten Datensatz und vielversprechende mehrsprachige Übertragung auf Qwen3-8B unter einem kontrollierten Trainingsbudget. Die Daten werden unter https://github.com/hitxueliang/DialogDataSetBySTREAM veröffentlicht.

English

Large language models for vertical domains are bottlenecked by the scarcity of complex, domain-specific task-oriented dialogues. Existing data acquisition pipelines face a persistent trilemma: expert annotation is expensive, real-world service conversations are constrained by privacy and commercial restrictions, and static corpora quickly become temporally stale. We propose Stream, a data-centric framework that leverages publicly available streaming media (live streams and short videos) to synthesize high-value service dialogues at scale. Stream mines authentic interaction signals from noisy streams and synthesizes conversations by integrating role-grounded persona construction with Conversational Blueprint construction; it further adopts retrieval-augmented generation (RAG) to support knowledge-aware responses. Based on Stream, we release StreamDial, a large-scale multi-domain dataset covering Automotive, Restaurant, and Hotel. StreamDial contains 87,498 dialogue sessions and 1,497,320 turns in total, with an average of 17.11 turns per session and a comparable scale across domains. Each session is organized as a structured quadruplet langle P_u, P_a, B, H rangle that pairs dialogue history with explicit user/agent personas and a Conversational Blueprint, capturing realistic service behaviors such as requirement mining, constraint conflicts, negotiation, and recovery. Evaluations with automatic judges and downstream tasks show that StreamDial improves intrinsic dialogue quality over strong baselines, and models trained with StreamDial improve Dialogue State Tracking across backbones; we further report a completed human-evaluation set and encouraging multilingual transfer on Qwen3-8B under a controlled training budget. The data is released in https://github.com/hitxueliang/DialogDataSetBySTREAM.