DEMO: Neugestaltung der Dialoginteraktion durch Feinkorn-Elementmodellierung

DEMO: Reframing Dialogue Interaction with Fine-grained Element Modeling

December 6, 2024

Autoren: Minzheng Wang, Xinghua Zhang, Kun Chen, Nan Xu, Haiyang Yu, Fei Huang, Wenji Mao, Yongbin Li

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben den Dialog zu einem zentralen Modus der Mensch-Maschine-Interaktion gemacht, was zur Ansammlung großer Mengen von Gesprächsprotokollen und einer steigenden Nachfrage nach Dialoggenerierung geführt hat. Ein Gesprächslebenszyklus erstreckt sich von der Einleitung über die Zwiesprache bis zum Epilog und umfasst verschiedene Elemente. Trotz zahlreicher Studien zum Thema Dialog fehlen Benchmarks, die umfassende Dialogelemente abdecken, was präzise Modellierung und systematische Bewertung behindert. Um diese Lücke zu schließen, stellen wir eine innovative Forschungsaufgabe vor: Dialogelement-Modellierung, die Elementbewusstsein und Interaktion des Dialogagenten umfasst, und schlagen einen neuen Benchmark namens DEMO vor, der für eine umfassende Dialogmodellierung und -bewertung konzipiert ist. Inspiriert von Imitationslernen bauen wir weiterhin den Agenten auf, der die geschickte Fähigkeit besitzt, Dialogelemente basierend auf dem DEMO-Benchmark zu modellieren. Umfangreiche Experimente zeigen, dass bestehende LLMs nach wie vor erhebliches Verbesserungspotenzial aufweisen, und unser DEMO-Agent eine überlegene Leistung sowohl bei Aufgaben im eigenen Bereich als auch außerhalb des eigenen Bereichs zeigt.

English

Large language models (LLMs) have made dialogue one of the central modes of human-machine interaction, leading to the accumulation of vast amounts of conversation logs and increasing demand for dialogue generation. A conversational life-cycle spans from the Prelude through the Interlocution to the Epilogue, encompassing various elements. Despite the existence of numerous dialogue-related studies, there is a lack of benchmarks that encompass comprehensive dialogue elements, hindering precise modeling and systematic evaluation. To bridge this gap, we introduce an innovative research task Dialogue Element MOdeling, including Element Awareness and Dialogue Agent Interaction, and propose a novel benchmark, DEMO, designed for a comprehensive dialogue modeling and assessment. Inspired by imitation learning, we further build the agent which possesses the adept ability to model dialogue elements based on the DEMO benchmark. Extensive experiments indicate that existing LLMs still exhibit considerable potential for enhancement, and our DEMO agent has superior performance in both in-domain and out-of-domain tasks.