Dialog2Flow: Предварительное обучение мягких контрастных действий, управляемых предложениями, для автоматического извлечения потока диалога.

Dialog2Flow: Pre-training Soft-Contrastive Action-Driven Sentence Embeddings for Automatic Dialog Flow Extraction

October 24, 2024

Авторы: Sergio Burdisso, Srikanth Madikeri, Petr Motlicek

cs.AI

Аннотация

Эффективное извлечение структурированных рабочих процессов из неаннотированных диалогов остается малоисследованным и сложным вызовом в вычислительной лингвистике. Автоматизация этого процесса может значительно ускорить ручное проектирование рабочих процессов в новых областях и обеспечить основу для крупных языковых моделей в виде доменно-специфических блок-схем, улучшая прозрачность и управляемость. В данной статье мы представляем эмбеддинги Dialog2Flow (D2F), которые отличаются от обычных эмбеддингов предложений путем отображения высказываний в латентное пространство, где они группируются в соответствии с их коммуникативными и информативными функциями (т.е. действиями, которые они представляют). D2F позволяет моделировать диалоги как непрерывные траектории в латентном пространстве с различными областями, связанными с действиями. Путем кластеризации эмбеддингов D2F латентное пространство квантуется, и диалоги могут быть преобразованы в последовательности идентификаторов области/действия, облегчая извлечение базового рабочего процесса. Для предварительного обучения D2F мы создаем обширный набор данных, объединяя двадцать наборов данных диалогов, ориентированных на задачи, с нормализованными аннотациями действий на каждом ходу. Мы также представляем новую мягкую контрастную функцию потерь, которая использует семантическую информацию этих действий для направления процесса обучения представлений, показывая превосходные результаты по сравнению со стандартной контрастной функцией потерь. Оценка по сравнению с различными эмбеддингами предложений, включая специфические для диалогов, демонстрирует, что D2F дает превосходные качественные и количественные результаты в различных областях.

English

Efficiently deriving structured workflows from unannotated dialogs remains an underexplored and formidable challenge in computational linguistics. Automating this process could significantly accelerate the manual design of workflows in new domains and enable the grounding of large language models in domain-specific flowcharts, enhancing transparency and controllability. In this paper, we introduce Dialog2Flow (D2F) embeddings, which differ from conventional sentence embeddings by mapping utterances to a latent space where they are grouped according to their communicative and informative functions (i.e., the actions they represent). D2F allows for modeling dialogs as continuous trajectories in a latent space with distinct action-related regions. By clustering D2F embeddings, the latent space is quantized, and dialogs can be converted into sequences of region/action IDs, facilitating the extraction of the underlying workflow. To pre-train D2F, we build a comprehensive dataset by unifying twenty task-oriented dialog datasets with normalized per-turn action annotations. We also introduce a novel soft contrastive loss that leverages the semantic information of these actions to guide the representation learning process, showing superior performance compared to standard supervised contrastive loss. Evaluation against various sentence embeddings, including dialog-specific ones, demonstrates that D2F yields superior qualitative and quantitative results across diverse domains.