S3-DST : Segmentation structurée des dialogues en domaine ouvert et suivi d'état à l'ère des LLM

S3-DST: Structured Open-Domain Dialogue Segmentation and State Tracking in the Era of LLMs

September 16, 2023

Auteurs: Sarkar Snigdha Sarathi Das, Chirag Shah, Mengting Wan, Jennifer Neville, Longqi Yang, Reid Andersen, Georg Buscher, Tara Safavi

cs.AI

Résumé

Le problème traditionnel de suivi de l'état du dialogue (Dialogue State Tracking, DST) vise à suivre les préférences et intentions des utilisateurs dans les conversations entre utilisateurs et agents. Bien que suffisant pour les systèmes de dialogue orientés tâches supportant des applications à domaine restreint, l'avènement des systèmes de chat basés sur des modèles de langage de grande taille (Large Language Models, LLM) a introduit de nombreuses complexités du monde réel dans les dialogues à domaine ouvert. Ces complexités se manifestent sous la forme d'une interaction contextuelle accrue, de sessions de dialogue prolongées englobant une diversité de sujets, et de changements contextuels plus fréquents. Pour gérer ces complexités découlant de l'évolution des systèmes de chat basés sur LLM, nous proposons une segmentation conjointe du dialogue et un suivi de l'état par segment dans les systèmes de dialogue à domaine ouvert. En supposant un cadre zero-shot adapté à un véritable système de dialogue à domaine ouvert, nous proposons S3-DST, une technique de prompting structuré qui exploite la Remémoration Pré-Analytique, un nouveau mécanisme d'ancrage que nous avons conçu pour améliorer le suivi de contexte long. Pour démontrer l'efficacité de notre approche proposée en segmentation conjointe et suivi de l'état, nous évaluons S3-DST sur un ensemble de données de dialogue à domaine ouvert anonymisé et propriétaire, ainsi que sur des ensembles de données DST et de segmentation disponibles publiquement. Sur tous les ensembles de données et dans tous les cadres, S3-DST surpasse systématiquement l'état de l'art, démontrant sa puissance et sa robustesse pour la prochaine génération de systèmes de chat basés sur LLM.

English

The traditional Dialogue State Tracking (DST) problem aims to track user preferences and intents in user-agent conversations. While sufficient for task-oriented dialogue systems supporting narrow domain applications, the advent of Large Language Model (LLM)-based chat systems has introduced many real-world intricacies in open-domain dialogues. These intricacies manifest in the form of increased complexity in contextual interactions, extended dialogue sessions encompassing a diverse array of topics, and more frequent contextual shifts. To handle these intricacies arising from evolving LLM-based chat systems, we propose joint dialogue segmentation and state tracking per segment in open-domain dialogue systems. Assuming a zero-shot setting appropriate to a true open-domain dialogue system, we propose S3-DST, a structured prompting technique that harnesses Pre-Analytical Recollection, a novel grounding mechanism we designed for improving long context tracking. To demonstrate the efficacy of our proposed approach in joint segmentation and state tracking, we evaluate S3-DST on a proprietary anonymized open-domain dialogue dataset, as well as publicly available DST and segmentation datasets. Across all datasets and settings, S3-DST consistently outperforms the state-of-the-art, demonstrating its potency and robustness the next generation of LLM-based chat systems.