S3-DST: Структурированная сегментация диалогов и отслеживание состояния в открытых доменах в эпоху больших языковых моделей

S3-DST: Structured Open-Domain Dialogue Segmentation and State Tracking in the Era of LLMs

September 16, 2023

Авторы: Sarkar Snigdha Sarathi Das, Chirag Shah, Mengting Wan, Jennifer Neville, Longqi Yang, Reid Andersen, Georg Buscher, Tara Safavi

cs.AI

Аннотация

Традиционная задача отслеживания состояния диалога (Dialogue State Tracking, DST) направлена на отслеживание предпочтений и намерений пользователя в диалогах между пользователем и агентом. Хотя этого достаточно для целевых диалоговых систем, поддерживающих узкоспециализированные приложения, появление чат-систем на основе больших языковых моделей (Large Language Models, LLM) привнесло множество реальных сложностей в открытых диалогах. Эти сложности проявляются в виде увеличения сложности контекстных взаимодействий, продолжительных диалоговых сессий, охватывающих разнообразные темы, и более частых смен контекста. Для обработки этих сложностей, возникающих в развивающихся чат-системах на основе LLM, мы предлагаем совместное сегментирование диалога и отслеживание состояния для каждого сегмента в открытых диалоговых системах. Предполагая нулевой сценарий (zero-shot), подходящий для истинно открытой диалоговой системы, мы предлагаем S3-DST — структурированную технику подсказок, которая использует Pre-Analytical Recollection, новый механизм заземления, разработанный нами для улучшения отслеживания длинного контекста. Чтобы продемонстрировать эффективность нашего подхода в совместном сегментировании и отслеживании состояния, мы оцениваем S3-DST на проприетарном анонимизированном наборе данных открытых диалогов, а также на общедоступных наборах данных для DST и сегментирования. На всех наборах данных и в различных условиях S3-DST стабильно превосходит современные методы, демонстрируя свою эффективность и устойчивость для следующего поколения чат-систем на основе LLM.

English

The traditional Dialogue State Tracking (DST) problem aims to track user preferences and intents in user-agent conversations. While sufficient for task-oriented dialogue systems supporting narrow domain applications, the advent of Large Language Model (LLM)-based chat systems has introduced many real-world intricacies in open-domain dialogues. These intricacies manifest in the form of increased complexity in contextual interactions, extended dialogue sessions encompassing a diverse array of topics, and more frequent contextual shifts. To handle these intricacies arising from evolving LLM-based chat systems, we propose joint dialogue segmentation and state tracking per segment in open-domain dialogue systems. Assuming a zero-shot setting appropriate to a true open-domain dialogue system, we propose S3-DST, a structured prompting technique that harnesses Pre-Analytical Recollection, a novel grounding mechanism we designed for improving long context tracking. To demonstrate the efficacy of our proposed approach in joint segmentation and state tracking, we evaluate S3-DST on a proprietary anonymized open-domain dialogue dataset, as well as publicly available DST and segmentation datasets. Across all datasets and settings, S3-DST consistently outperforms the state-of-the-art, demonstrating its potency and robustness the next generation of LLM-based chat systems.