S3-DST: Strukturierte Segmentierung und Zustandsverfolgung in offenen Dialogen im Zeitalter der LLMs

S3-DST: Structured Open-Domain Dialogue Segmentation and State Tracking in the Era of LLMs

September 16, 2023

Autoren: Sarkar Snigdha Sarathi Das, Chirag Shah, Mengting Wan, Jennifer Neville, Longqi Yang, Reid Andersen, Georg Buscher, Tara Safavi

cs.AI

Zusammenfassung

Das traditionelle Problem des Dialogue State Tracking (DST) zielt darauf ab, Benutzerpräferenzen und -absichten in Benutzer-Agent-Gesprächen zu verfolgen. Während dies für aufgabenorientierte Dialogsysteme, die eng definierte Anwendungsbereiche unterstützen, ausreichend ist, hat die Einführung von Chat-Systemen auf Basis von Large Language Models (LLMs) viele reale Komplexitäten in offenen Domänendialogen mit sich gebracht. Diese Komplexitäten zeigen sich in Form von erhöhter Schwierigkeit bei kontextuellen Interaktionen, längeren Dialogsitzungen, die eine Vielzahl von Themen umfassen, und häufigeren Kontextwechseln. Um diese Herausforderungen, die sich aus der Entwicklung von LLM-basierten Chat-Systemen ergeben, zu bewältigen, schlagen wir eine gemeinsame Dialogsegmentierung und Zustandsverfolgung pro Segment in offenen Domänendialogsystemen vor. Unter der Annahme eines Zero-Shot-Settings, das für ein echtes offenes Domänendialogsystem geeignet ist, präsentieren wir S3-DST, eine strukturierte Prompting-Technik, die Pre-Analytical Recollection nutzt, einen neuartigen Grounding-Mechanismus, den wir zur Verbesserung der Langzeitkontextverfolgung entwickelt haben. Um die Wirksamkeit unseres vorgeschlagenen Ansatzes in der gemeinsamen Segmentierung und Zustandsverfolgung zu demonstrieren, evaluieren wir S3-DST auf einem proprietären, anonymisierten Datensatz für offene Domänendialoge sowie auf öffentlich verfügbaren DST- und Segmentierungsdatensätzen. In allen Datensätzen und Settings übertrifft S3-DST durchweg den State-of-the-art und zeigt damit seine Stärke und Robustheit für die nächste Generation von LLM-basierten Chat-Systemen.

English

The traditional Dialogue State Tracking (DST) problem aims to track user preferences and intents in user-agent conversations. While sufficient for task-oriented dialogue systems supporting narrow domain applications, the advent of Large Language Model (LLM)-based chat systems has introduced many real-world intricacies in open-domain dialogues. These intricacies manifest in the form of increased complexity in contextual interactions, extended dialogue sessions encompassing a diverse array of topics, and more frequent contextual shifts. To handle these intricacies arising from evolving LLM-based chat systems, we propose joint dialogue segmentation and state tracking per segment in open-domain dialogue systems. Assuming a zero-shot setting appropriate to a true open-domain dialogue system, we propose S3-DST, a structured prompting technique that harnesses Pre-Analytical Recollection, a novel grounding mechanism we designed for improving long context tracking. To demonstrate the efficacy of our proposed approach in joint segmentation and state tracking, we evaluate S3-DST on a proprietary anonymized open-domain dialogue dataset, as well as publicly available DST and segmentation datasets. Across all datasets and settings, S3-DST consistently outperforms the state-of-the-art, demonstrating its potency and robustness the next generation of LLM-based chat systems.