S3-DST: Segmentação Estruturada de Diálogos em Domínio Aberto e Rastreamento de Estado na Era dos LLMs

S3-DST: Structured Open-Domain Dialogue Segmentation and State Tracking in the Era of LLMs

September 16, 2023

Autores: Sarkar Snigdha Sarathi Das, Chirag Shah, Mengting Wan, Jennifer Neville, Longqi Yang, Reid Andersen, Georg Buscher, Tara Safavi

cs.AI

Resumo

O problema tradicional de Rastreamento de Estado de Diálogo (DST, na sigla em inglês) visa acompanhar as preferências e intenções do usuário em conversas entre usuário e agente. Embora seja suficiente para sistemas de diálogo orientados a tarefas que suportam aplicações de domínio restrito, o advento de sistemas de chat baseados em Modelos de Linguagem de Grande Escala (LLMs) introduziu muitas complexidades do mundo real em diálogos de domínio aberto. Essas complexidades se manifestam na forma de maior interação contextual, sessões de diálogo prolongadas que abrangem uma diversidade de tópicos e mudanças contextuais mais frequentes. Para lidar com essas complexidades decorrentes da evolução dos sistemas de chat baseados em LLMs, propomos a segmentação conjunta de diálogos e o rastreamento de estado por segmento em sistemas de diálogo de domínio aberto. Assumindo um cenário zero-shot apropriado para um verdadeiro sistema de diálogo de domínio aberto, propomos o S3-DST, uma técnica de prompt estruturado que utiliza a Recolha Pré-Analítica, um mecanismo de fundamentação inovador que projetamos para melhorar o rastreamento de contexto longo. Para demonstrar a eficácia de nossa abordagem proposta em segmentação conjunta e rastreamento de estado, avaliamos o S3-DST em um conjunto de dados proprietário e anonimizado de diálogos de domínio aberto, bem como em conjuntos de dados públicos de DST e segmentação. Em todos os conjuntos de dados e configurações, o S3-DST supera consistentemente o estado da arte, demonstrando sua potência e robustez para a próxima geração de sistemas de chat baseados em LLMs.

English

The traditional Dialogue State Tracking (DST) problem aims to track user preferences and intents in user-agent conversations. While sufficient for task-oriented dialogue systems supporting narrow domain applications, the advent of Large Language Model (LLM)-based chat systems has introduced many real-world intricacies in open-domain dialogues. These intricacies manifest in the form of increased complexity in contextual interactions, extended dialogue sessions encompassing a diverse array of topics, and more frequent contextual shifts. To handle these intricacies arising from evolving LLM-based chat systems, we propose joint dialogue segmentation and state tracking per segment in open-domain dialogue systems. Assuming a zero-shot setting appropriate to a true open-domain dialogue system, we propose S3-DST, a structured prompting technique that harnesses Pre-Analytical Recollection, a novel grounding mechanism we designed for improving long context tracking. To demonstrate the efficacy of our proposed approach in joint segmentation and state tracking, we evaluate S3-DST on a proprietary anonymized open-domain dialogue dataset, as well as publicly available DST and segmentation datasets. Across all datasets and settings, S3-DST consistently outperforms the state-of-the-art, demonstrating its potency and robustness the next generation of LLM-based chat systems.