S3-DST: Segmentación Estructurada de Diálogos en Dominio Abierto y Seguimiento de Estados en la Era de los Modelos de Lenguaje de Gran Escala

S3-DST: Structured Open-Domain Dialogue Segmentation and State Tracking in the Era of LLMs

September 16, 2023

Autores: Sarkar Snigdha Sarathi Das, Chirag Shah, Mengting Wan, Jennifer Neville, Longqi Yang, Reid Andersen, Georg Buscher, Tara Safavi

cs.AI

Resumen

El problema tradicional de seguimiento del estado del diálogo (DST, por sus siglas en inglés) tiene como objetivo rastrear las preferencias e intenciones del usuario en conversaciones entre usuarios y agentes. Aunque es suficiente para sistemas de diálogo orientados a tareas que soportan aplicaciones de dominio específico, el surgimiento de sistemas de chat basados en modelos de lenguaje de gran escala (LLM) ha introducido muchas complejidades del mundo real en diálogos de dominio abierto. Estas complejidades se manifiestan en forma de una mayor interacción contextual, sesiones de diálogo extendidas que abarcan una amplia variedad de temas y cambios contextuales más frecuentes. Para manejar estas complejidades derivadas de la evolución de los sistemas de chat basados en LLM, proponemos la segmentación conjunta del diálogo y el seguimiento del estado por segmento en sistemas de diálogo de dominio abierto. Asumiendo un entorno de cero disparos apropiado para un verdadero sistema de diálogo de dominio abierto, proponemos S3-DST, una técnica de indicación estructurada que aprovecha la Recolección Pre-Analítica, un mecanismo de fundamentación novedoso que diseñamos para mejorar el seguimiento de contextos largos. Para demostrar la eficacia de nuestro enfoque propuesto en la segmentación conjunta y el seguimiento del estado, evaluamos S3-DST en un conjunto de datos de diálogo de dominio abierto anonimizado y propietario, así como en conjuntos de datos públicos de DST y segmentación. En todos los conjuntos de datos y configuraciones, S3-DST supera consistentemente al estado del arte, demostrando su potencia y robustez para la próxima generación de sistemas de chat basados en LLM.

English

The traditional Dialogue State Tracking (DST) problem aims to track user preferences and intents in user-agent conversations. While sufficient for task-oriented dialogue systems supporting narrow domain applications, the advent of Large Language Model (LLM)-based chat systems has introduced many real-world intricacies in open-domain dialogues. These intricacies manifest in the form of increased complexity in contextual interactions, extended dialogue sessions encompassing a diverse array of topics, and more frequent contextual shifts. To handle these intricacies arising from evolving LLM-based chat systems, we propose joint dialogue segmentation and state tracking per segment in open-domain dialogue systems. Assuming a zero-shot setting appropriate to a true open-domain dialogue system, we propose S3-DST, a structured prompting technique that harnesses Pre-Analytical Recollection, a novel grounding mechanism we designed for improving long context tracking. To demonstrate the efficacy of our proposed approach in joint segmentation and state tracking, we evaluate S3-DST on a proprietary anonymized open-domain dialogue dataset, as well as publicly available DST and segmentation datasets. Across all datasets and settings, S3-DST consistently outperforms the state-of-the-art, demonstrating its potency and robustness the next generation of LLM-based chat systems.