S3-DST: Gestructureerde Open-Domein Dialoogsegmentatie en Statustracking in het Tijdperk van LLM's

S3-DST: Structured Open-Domain Dialogue Segmentation and State Tracking in the Era of LLMs

September 16, 2023

Auteurs: Sarkar Snigdha Sarathi Das, Chirag Shah, Mengting Wan, Jennifer Neville, Longqi Yang, Reid Andersen, Georg Buscher, Tara Safavi

cs.AI

Samenvatting

Het traditionele Dialogue State Tracking (DST)-probleem heeft als doel gebruikersvoorkeuren en intenties te volgen in gesprekken tussen gebruikers en agents. Hoewel dit voldoende is voor taakgerichte dialoogsystemen die smal domeingerichte toepassingen ondersteunen, heeft de opkomst van chat-systemen gebaseerd op Large Language Models (LLM) veel real-world complexiteiten geïntroduceerd in open-domein dialogen. Deze complexiteiten manifesteren zich in de vorm van een toegenomen complexiteit in contextuele interacties, langere dialoogsessies die een diverse reeks onderwerpen omvatten, en frequentere contextuele verschuivingen. Om deze complexiteiten aan te pakken die voortkomen uit de evoluerende LLM-gebaseerde chatsystemen, stellen we gezamenlijke dialoogsegmentatie en staatstracking per segment voor in open-domein dialoogsystemen. Uitgaande van een zero-shot instelling die geschikt is voor een echt open-domein dialoogsysteem, stellen we S3-DST voor, een gestructureerde promptingtechniek die gebruikmaakt van Pre-Analytical Recollection, een nieuw grondmechanisme dat we hebben ontworpen om het volgen van lange contexten te verbeteren. Om de effectiviteit van onze voorgestelde aanpak in gezamenlijke segmentatie en staatstracking aan te tonen, evalueren we S3-DST op een propriëtaire geanonimiseerde open-domein dialoogdataset, evenals op publiek beschikbare DST- en segmentatiedatasets. Over alle datasets en instellingen heen presteert S3-DST consistent beter dan de state-of-the-art, wat de kracht en robuustheid ervan aantoont voor de volgende generatie LLM-gebaseerde chatsystemen.

English

The traditional Dialogue State Tracking (DST) problem aims to track user preferences and intents in user-agent conversations. While sufficient for task-oriented dialogue systems supporting narrow domain applications, the advent of Large Language Model (LLM)-based chat systems has introduced many real-world intricacies in open-domain dialogues. These intricacies manifest in the form of increased complexity in contextual interactions, extended dialogue sessions encompassing a diverse array of topics, and more frequent contextual shifts. To handle these intricacies arising from evolving LLM-based chat systems, we propose joint dialogue segmentation and state tracking per segment in open-domain dialogue systems. Assuming a zero-shot setting appropriate to a true open-domain dialogue system, we propose S3-DST, a structured prompting technique that harnesses Pre-Analytical Recollection, a novel grounding mechanism we designed for improving long context tracking. To demonstrate the efficacy of our proposed approach in joint segmentation and state tracking, we evaluate S3-DST on a proprietary anonymized open-domain dialogue dataset, as well as publicly available DST and segmentation datasets. Across all datasets and settings, S3-DST consistently outperforms the state-of-the-art, demonstrating its potency and robustness the next generation of LLM-based chat systems.