Dialog2Flow: Pre-entrenamiento de incrustaciones de oraciones impulsadas por acciones suaves-contrastivas para la extracción automática del flujo de diálogo.

Dialog2Flow: Pre-training Soft-Contrastive Action-Driven Sentence Embeddings for Automatic Dialog Flow Extraction

October 24, 2024

Autores: Sergio Burdisso, Srikanth Madikeri, Petr Motlicek

cs.AI

Resumen

Derivar de manera eficiente flujos de trabajo estructurados a partir de diálogos no anotados sigue siendo un desafío poco explorado y formidable en lingüística computacional. Automatizar este proceso podría acelerar significativamente el diseño manual de flujos de trabajo en nuevos dominios y permitir la fundamentación de grandes modelos de lenguaje en diagramas de flujo específicos del dominio, mejorando la transparencia y la controlabilidad. En este artículo, presentamos los embeddings de Dialog2Flow (D2F), que difieren de los embeddings de oraciones convencionales al mapear enunciados a un espacio latente donde se agrupan según sus funciones comunicativas e informativas (es decir, las acciones que representan). D2F permite modelar diálogos como trayectorias continuas en un espacio latente con regiones distintas relacionadas con las acciones. Al clusterizar los embeddings de D2F, el espacio latente se cuantifica y los diálogos pueden convertirse en secuencias de identificadores de región/acción, facilitando la extracción del flujo de trabajo subyacente. Para pre-entrenar D2F, construimos un conjunto de datos integral unificando veinte conjuntos de datos de diálogos orientados a tareas con anotaciones normalizadas de acciones por turno. También introducimos una nueva pérdida contrastiva suave que aprovecha la información semántica de estas acciones para guiar el proceso de aprendizaje de representación, mostrando un rendimiento superior en comparación con la pérdida contrastiva supervisada estándar. La evaluación frente a varios embeddings de oraciones, incluidos los específicos de diálogos, demuestra que D2F produce resultados cualitativos y cuantitativos superiores en diversos dominios.

English

Efficiently deriving structured workflows from unannotated dialogs remains an underexplored and formidable challenge in computational linguistics. Automating this process could significantly accelerate the manual design of workflows in new domains and enable the grounding of large language models in domain-specific flowcharts, enhancing transparency and controllability. In this paper, we introduce Dialog2Flow (D2F) embeddings, which differ from conventional sentence embeddings by mapping utterances to a latent space where they are grouped according to their communicative and informative functions (i.e., the actions they represent). D2F allows for modeling dialogs as continuous trajectories in a latent space with distinct action-related regions. By clustering D2F embeddings, the latent space is quantized, and dialogs can be converted into sequences of region/action IDs, facilitating the extraction of the underlying workflow. To pre-train D2F, we build a comprehensive dataset by unifying twenty task-oriented dialog datasets with normalized per-turn action annotations. We also introduce a novel soft contrastive loss that leverages the semantic information of these actions to guide the representation learning process, showing superior performance compared to standard supervised contrastive loss. Evaluation against various sentence embeddings, including dialog-specific ones, demonstrates that D2F yields superior qualitative and quantitative results across diverse domains.