Dialog2Flow: 自動対話フロー抽出のための事前学習ソフトコントラスティブアクション駆動型文エンベッディング

Dialog2Flow: Pre-training Soft-Contrastive Action-Driven Sentence Embeddings for Automatic Dialog Flow Extraction

October 24, 2024

著者: Sergio Burdisso, Srikanth Madikeri, Petr Motlicek

cs.AI

要旨

未注釈の対話から構造化されたワークフローを効率的に導出することは、計算言語学において未開拓であり、困難な課題です。このプロセスを自動化することは、新しい領域でのワークフローの手動設計を大幅に加速し、大規模言語モデルを特定の領域固有のフローチャートに基づかせ、透明性と制御可能性を高めることができます。本論文では、Dialog2Flow（D2F）埋め込みを紹介し、これは発話をコミュニケーションおよび情報機能（つまり、それらが表すアクション）に従ってグループ化することによって、従来の文埋め込みとは異なります。D2Fは、発話を潜在空間内の連続的な軌跡としてモデリングすることを可能にし、異なるアクションに関連する領域を持つ潜在空間として機能します。D2F埋め込みをクラスタリングすることで、潜在空間が量子化され、対話を領域/アクションIDのシーケンスに変換することができ、基礎となるワークフローを抽出するのを容易にします。D2Fを事前学習するために、20のタスク指向対話データセットを統合し、ターンごとのアクション注釈を正規化した包括的なデータセットを構築します。また、これらのアクションの意味情報を活用して表現学習プロセスを導く新しいソフトコントラスティブ損失を導入し、標準の教師ありコントラスティブ損失と比較して優れた性能を示します。対話固有のものを含むさまざまな文埋め込みに対する評価では、D2Fが多様な領域で優れた質的および量的結果をもたらすことが示されています。

English

Efficiently deriving structured workflows from unannotated dialogs remains an underexplored and formidable challenge in computational linguistics. Automating this process could significantly accelerate the manual design of workflows in new domains and enable the grounding of large language models in domain-specific flowcharts, enhancing transparency and controllability. In this paper, we introduce Dialog2Flow (D2F) embeddings, which differ from conventional sentence embeddings by mapping utterances to a latent space where they are grouped according to their communicative and informative functions (i.e., the actions they represent). D2F allows for modeling dialogs as continuous trajectories in a latent space with distinct action-related regions. By clustering D2F embeddings, the latent space is quantized, and dialogs can be converted into sequences of region/action IDs, facilitating the extraction of the underlying workflow. To pre-train D2F, we build a comprehensive dataset by unifying twenty task-oriented dialog datasets with normalized per-turn action annotations. We also introduce a novel soft contrastive loss that leverages the semantic information of these actions to guide the representation learning process, showing superior performance compared to standard supervised contrastive loss. Evaluation against various sentence embeddings, including dialog-specific ones, demonstrates that D2F yields superior qualitative and quantitative results across diverse domains.