STREAM: Een datacentrisch raamwerk voor het ontginnen van hoogwaardige taakgerichte dialogen uit streaming media

Samenvatting

Grote taalmodellen voor verticale domeinen worden belemmerd door de schaarste aan complexe, domeinspecifieke taakgerichte dialogen. Bestaande dataverwervingspijplijnen kampen met een aanhoudend trilemma: expertannotatie is duur, gesprekken uit echte dienstverlening worden beperkt door privacy- en commerciële restricties, en statische corpora raken snel temporeel verouderd. Wij stellen Stream voor, een datagericht raamwerk dat gebruikmaakt van openbaar beschikbare streamingmedia (livestreams en korte video's) om op schaal hoogwaardige dienstverleningsdialogen te synthetiseren. Stream ontgint authentieke interactiesignalen uit ruisende streams en synthetiseert gesprekken door rolgebaseerde personaconstructie te integreren met de constructie van conversatieblauwdrukken; verder past het retrieval-verbeterde generatie (RAG) toe om kennisbewuste antwoorden te ondersteunen. Op basis van Stream publiceren wij StreamDial, een grootschalige, multidomein dataset die Automotive, Restaurant en Hotel bestrijkt. StreamDial bevat in totaal 87.498 dialoogsessies en 1.497.320 beurten, met een gemiddelde van 17,11 beurten per sessie en een vergelijkbare schaal over de domeinen heen. Elke sessie is georganiseerd als een gestructureerd viertal <P_u, P_a, B, H> dat de dialooggeschiedenis koppelt aan expliciete gebruikers-/agentpersona’s en een conversatieblauwdruk, waarmee realistische dienstverleningsgedragingen zoals vereistenidentificatie, beperkingsconflicten, onderhandeling en herstel worden vastgelegd. Evaluaties met automatische beoordelaars en stroomafwaartse taken tonen aan dat StreamDial de intrinsieke dialoogkwaliteit verbetert ten opzichte van sterke baselines, en dat modellen getraind met StreamDial de dialoogtoestand tracking (DST) verbeteren over verschillende backbones; verder rapporteren wij een volledige menselijke evaluatieset en bemoedigende meertalige transfer op Qwen3-8B onder een gecontroleerd trainingsbudget. De data is beschikbaar op https://github.com/hitxueliang/DialogDataSetBySTREAM.

English

Large language models for vertical domains are bottlenecked by the scarcity of complex, domain-specific task-oriented dialogues. Existing data acquisition pipelines face a persistent trilemma: expert annotation is expensive, real-world service conversations are constrained by privacy and commercial restrictions, and static corpora quickly become temporally stale. We propose Stream, a data-centric framework that leverages publicly available streaming media (live streams and short videos) to synthesize high-value service dialogues at scale. Stream mines authentic interaction signals from noisy streams and synthesizes conversations by integrating role-grounded persona construction with Conversational Blueprint construction; it further adopts retrieval-augmented generation (RAG) to support knowledge-aware responses. Based on Stream, we release StreamDial, a large-scale multi-domain dataset covering Automotive, Restaurant, and Hotel. StreamDial contains 87,498 dialogue sessions and 1,497,320 turns in total, with an average of 17.11 turns per session and a comparable scale across domains. Each session is organized as a structured quadruplet langle P_u, P_a, B, H rangle that pairs dialogue history with explicit user/agent personas and a Conversational Blueprint, capturing realistic service behaviors such as requirement mining, constraint conflicts, negotiation, and recovery. Evaluations with automatic judges and downstream tasks show that StreamDial improves intrinsic dialogue quality over strong baselines, and models trained with StreamDial improve Dialogue State Tracking across backbones; we further report a completed human-evaluation set and encouraging multilingual transfer on Qwen3-8B under a controlled training budget. The data is released in https://github.com/hitxueliang/DialogDataSetBySTREAM.