S3-DST: Segmentazione Strutturata del Dialogo in Dominio Aperto e Tracciamento dello Stato nell'Era dei Modelli Linguistici di Grande Dimensione

S3-DST: Structured Open-Domain Dialogue Segmentation and State Tracking in the Era of LLMs

September 16, 2023

Autori: Sarkar Snigdha Sarathi Das, Chirag Shah, Mengting Wan, Jennifer Neville, Longqi Yang, Reid Andersen, Georg Buscher, Tara Safavi

cs.AI

Abstract

Il tradizionale problema del Dialogue State Tracking (DST) mira a tracciare le preferenze e le intenzioni dell'utente nelle conversazioni tra utente e agente. Sebbene sufficiente per i sistemi di dialogo orientati al compito che supportano applicazioni in domini ristretti, l'avvento dei sistemi di chat basati su Large Language Model (LLM) ha introdotto molte complessità del mondo reale nei dialoghi a dominio aperto. Queste complessità si manifestano sotto forma di una maggiore complessità nelle interazioni contestuali, sessioni di dialogo prolungate che abbracciano una vasta gamma di argomenti e cambiamenti contestuali più frequenti. Per gestire queste complessità derivanti dall'evoluzione dei sistemi di chat basati su LLM, proponiamo un approccio congiunto di segmentazione del dialogo e tracciamento dello stato per segmento nei sistemi di dialogo a dominio aperto. Assumendo un'impostazione zero-shot appropriata per un vero sistema di dialogo a dominio aperto, proponiamo S3-DST, una tecnica di prompting strutturato che sfrutta il Pre-Analytical Recollection, un nuovo meccanismo di grounding che abbiamo progettato per migliorare il tracciamento del contesto lungo. Per dimostrare l'efficacia del nostro approccio proposto nella segmentazione congiunta e nel tracciamento dello stato, valutiamo S3-DST su un dataset proprietario anonimizzato di dialoghi a dominio aperto, nonché su dataset pubblicamente disponibili per DST e segmentazione. In tutti i dataset e le impostazioni, S3-DST supera costantemente lo stato dell'arte, dimostrando la sua potenza e robustezza per la prossima generazione di sistemi di chat basati su LLM.

English

The traditional Dialogue State Tracking (DST) problem aims to track user preferences and intents in user-agent conversations. While sufficient for task-oriented dialogue systems supporting narrow domain applications, the advent of Large Language Model (LLM)-based chat systems has introduced many real-world intricacies in open-domain dialogues. These intricacies manifest in the form of increased complexity in contextual interactions, extended dialogue sessions encompassing a diverse array of topics, and more frequent contextual shifts. To handle these intricacies arising from evolving LLM-based chat systems, we propose joint dialogue segmentation and state tracking per segment in open-domain dialogue systems. Assuming a zero-shot setting appropriate to a true open-domain dialogue system, we propose S3-DST, a structured prompting technique that harnesses Pre-Analytical Recollection, a novel grounding mechanism we designed for improving long context tracking. To demonstrate the efficacy of our proposed approach in joint segmentation and state tracking, we evaluate S3-DST on a proprietary anonymized open-domain dialogue dataset, as well as publicly available DST and segmentation datasets. Across all datasets and settings, S3-DST consistently outperforms the state-of-the-art, demonstrating its potency and robustness the next generation of LLM-based chat systems.