DEMO: Hergroeperen van Dialooginteractie met Gedetailleerde Elementmodellering

DEMO: Reframing Dialogue Interaction with Fine-grained Element Modeling

December 6, 2024

Auteurs: Minzheng Wang, Xinghua Zhang, Kun Chen, Nan Xu, Haiyang Yu, Fei Huang, Wenji Mao, Yongbin Li

cs.AI

Samenvatting

Grote taalmodellen (LLM's) hebben van dialoog een van de centrale modi van mens-machine-interactie gemaakt, wat heeft geleid tot de accumulatie van enorme hoeveelheden gesprekslogs en een toenemende vraag naar dialooggeneratie. Een conversatielevenscyclus strekt zich uit van de Prelude via de Interlocutie naar de Epiloog, waarbij verschillende elementen worden omvat. Ondanks het bestaan van talrijke studies over dialogen, ontbreekt het aan benchmarks die uitgebreide dialoogelementen omvatten, wat een nauwkeurige modellering en systematische evaluatie belemmert. Om deze kloof te overbruggen, introduceren we een innovatieve onderzoekstaak Dialoog Element Modellering, met inbegrip van Element Bewustzijn en Dialoog Agent Interactie, en stellen we een nieuwe benchmark voor, DEMO, ontworpen voor een uitgebreide dialoogmodellering en -evaluatie. Geïnspireerd door imitatieleren, bouwen we verder de agent die over de bekwame vaardigheid beschikt om dialoogelementen te modelleren op basis van de DEMO benchmark. Uitgebreide experimenten tonen aan dat bestaande LLM's nog steeds aanzienlijk potentieel hebben voor verbetering, en onze DEMO-agent presteert superieur in zowel in-domein als uit-domein taken.

English

Large language models (LLMs) have made dialogue one of the central modes of human-machine interaction, leading to the accumulation of vast amounts of conversation logs and increasing demand for dialogue generation. A conversational life-cycle spans from the Prelude through the Interlocution to the Epilogue, encompassing various elements. Despite the existence of numerous dialogue-related studies, there is a lack of benchmarks that encompass comprehensive dialogue elements, hindering precise modeling and systematic evaluation. To bridge this gap, we introduce an innovative research task Dialogue Element MOdeling, including Element Awareness and Dialogue Agent Interaction, and propose a novel benchmark, DEMO, designed for a comprehensive dialogue modeling and assessment. Inspired by imitation learning, we further build the agent which possesses the adept ability to model dialogue elements based on the DEMO benchmark. Extensive experiments indicate that existing LLMs still exhibit considerable potential for enhancement, and our DEMO agent has superior performance in both in-domain and out-of-domain tasks.