Dialog2Flow: Pré-treinamento de Incorporações de Sentenças Orientadas por Ação e Suaves para Extração Automática de Fluxo de Diálogo

Dialog2Flow: Pre-training Soft-Contrastive Action-Driven Sentence Embeddings for Automatic Dialog Flow Extraction

October 24, 2024

Autores: Sergio Burdisso, Srikanth Madikeri, Petr Motlicek

cs.AI

Resumo

Derivar de forma eficiente fluxos de trabalho estruturados a partir de diálogos não anotados continua sendo um desafio subexplorado e formidável na linguística computacional. Automatizar esse processo poderia acelerar significativamente o design manual de fluxos de trabalho em novos domínios e permitir a fundamentação de grandes modelos de linguagem em diagramas de fluxo específicos do domínio, aprimorando a transparência e a controlabilidade. Neste artigo, introduzimos os embeddings Dialog2Flow (D2F), que diferem dos embeddings de frases convencionais ao mapear enunciados para um espaço latente onde são agrupados de acordo com suas funções comunicativas e informativas (ou seja, as ações que representam). D2F permite modelar diálogos como trajetórias contínuas em um espaço latente com regiões distintas relacionadas a ações. Ao agrupar os embeddings D2F, o espaço latente é quantizado, e os diálogos podem ser convertidos em sequências de IDs de região/ação, facilitando a extração do fluxo subjacente. Para pré-treinar o D2F, construímos um conjunto de dados abrangente unificando vinte conjuntos de dados de diálogos orientados a tarefas com anotações normalizadas de ações por turno. Também introduzimos uma nova perda contrastiva suave que aproveita a informação semântica dessas ações para orientar o processo de aprendizado de representação, demonstrando desempenho superior em comparação com a perda contrastiva supervisionada padrão. A avaliação em relação a vários embeddings de frases, incluindo os específicos para diálogos, demonstra que o D2F produz resultados qualitativos e quantitativos superiores em diversos domínios.

English

Efficiently deriving structured workflows from unannotated dialogs remains an underexplored and formidable challenge in computational linguistics. Automating this process could significantly accelerate the manual design of workflows in new domains and enable the grounding of large language models in domain-specific flowcharts, enhancing transparency and controllability. In this paper, we introduce Dialog2Flow (D2F) embeddings, which differ from conventional sentence embeddings by mapping utterances to a latent space where they are grouped according to their communicative and informative functions (i.e., the actions they represent). D2F allows for modeling dialogs as continuous trajectories in a latent space with distinct action-related regions. By clustering D2F embeddings, the latent space is quantized, and dialogs can be converted into sequences of region/action IDs, facilitating the extraction of the underlying workflow. To pre-train D2F, we build a comprehensive dataset by unifying twenty task-oriented dialog datasets with normalized per-turn action annotations. We also introduce a novel soft contrastive loss that leverages the semantic information of these actions to guide the representation learning process, showing superior performance compared to standard supervised contrastive loss. Evaluation against various sentence embeddings, including dialog-specific ones, demonstrates that D2F yields superior qualitative and quantitative results across diverse domains.