デモ：微細な要素モデリングを用いた対話インタラクションの再構築

DEMO: Reframing Dialogue Interaction with Fine-grained Element Modeling

December 6, 2024

著者: Minzheng Wang, Xinghua Zhang, Kun Chen, Nan Xu, Haiyang Yu, Fei Huang, Wenji Mao, Yongbin Li

cs.AI

要旨

大規模言語モデル（LLMs）は、対話を中心とした人間と機械とのやり取りを可能にし、膨大な会話ログの蓄積と対話生成への需要の増加をもたらしています。対話のライフサイクルは、プレリュードから対話、そしてエピローグまでを網羅し、さまざまな要素が含まれています。多くの対話に関する研究が存在するにもかかわらず、包括的な対話要素を含むベンチマークが不足しており、正確なモデリングと体系的な評価が妨げられています。このギャップを埋めるために、革新的な研究課題である「対話要素モデリング」を導入し、要素認識と対話エージェントの相互作用を含み、包括的な対話モデリングと評価のために設計された新しいベンチマークであるDEMOを提案します。模倣学習に触発され、DEMOベンチマークに基づいて対話要素をモデリングする能力を持つエージェントを構築します。幅広い実験により、既存のLLMsにはまだ大幅な向上の余地があることが示され、当社のDEMOエージェントは、ドメイン内外の両方のタスクで優れたパフォーマンスを発揮しています。

English

Large language models (LLMs) have made dialogue one of the central modes of human-machine interaction, leading to the accumulation of vast amounts of conversation logs and increasing demand for dialogue generation. A conversational life-cycle spans from the Prelude through the Interlocution to the Epilogue, encompassing various elements. Despite the existence of numerous dialogue-related studies, there is a lack of benchmarks that encompass comprehensive dialogue elements, hindering precise modeling and systematic evaluation. To bridge this gap, we introduce an innovative research task Dialogue Element MOdeling, including Element Awareness and Dialogue Agent Interaction, and propose a novel benchmark, DEMO, designed for a comprehensive dialogue modeling and assessment. Inspired by imitation learning, we further build the agent which possesses the adept ability to model dialogue elements based on the DEMO benchmark. Extensive experiments indicate that existing LLMs still exhibit considerable potential for enhancement, and our DEMO agent has superior performance in both in-domain and out-of-domain tasks.