DEMO: Reenmarcando la Interacción del Diálogo con Modelado de Elementos Detallados

DEMO: Reframing Dialogue Interaction with Fine-grained Element Modeling

December 6, 2024

Autores: Minzheng Wang, Xinghua Zhang, Kun Chen, Nan Xu, Haiyang Yu, Fei Huang, Wenji Mao, Yongbin Li

cs.AI

Resumen

Los modelos de lenguaje grandes (LLMs) han convertido el diálogo en uno de los modos centrales de interacción humano-máquina, lo que ha llevado a la acumulación de vastas cantidades de registros de conversaciones y a un aumento en la demanda de generación de diálogo. Un ciclo de vida conversacional abarca desde el Preludio a través de la Interlocución hasta el Epílogo, englobando varios elementos. A pesar de la existencia de numerosos estudios relacionados con el diálogo, existe una falta de puntos de referencia que abarquen elementos de diálogo completos, obstaculizando la modelización precisa y la evaluación sistemática. Para cerrar esta brecha, presentamos una tarea de investigación innovadora: Modelado de Elementos de Diálogo, que incluye Conciencia de Elementos e Interacción del Agente de Diálogo, y proponemos un nuevo punto de referencia, DEMO, diseñado para un modelado y evaluación exhaustivos del diálogo. Inspirados en el aprendizaje por imitación, construimos además un agente que posee la habilidad experta de modelar elementos de diálogo basados en el punto de referencia DEMO. Experimentos extensos indican que los LLMs existentes aún muestran un considerable potencial de mejora, y nuestro agente DEMO tiene un rendimiento superior tanto en tareas dentro del dominio como fuera de él.

English

Large language models (LLMs) have made dialogue one of the central modes of human-machine interaction, leading to the accumulation of vast amounts of conversation logs and increasing demand for dialogue generation. A conversational life-cycle spans from the Prelude through the Interlocution to the Epilogue, encompassing various elements. Despite the existence of numerous dialogue-related studies, there is a lack of benchmarks that encompass comprehensive dialogue elements, hindering precise modeling and systematic evaluation. To bridge this gap, we introduce an innovative research task Dialogue Element MOdeling, including Element Awareness and Dialogue Agent Interaction, and propose a novel benchmark, DEMO, designed for a comprehensive dialogue modeling and assessment. Inspired by imitation learning, we further build the agent which possesses the adept ability to model dialogue elements based on the DEMO benchmark. Extensive experiments indicate that existing LLMs still exhibit considerable potential for enhancement, and our DEMO agent has superior performance in both in-domain and out-of-domain tasks.