DEMO: Reformulando a Interação em Diálogos com Modelagem de Elementos Detalhados

DEMO: Reframing Dialogue Interaction with Fine-grained Element Modeling

December 6, 2024

Autores: Minzheng Wang, Xinghua Zhang, Kun Chen, Nan Xu, Haiyang Yu, Fei Huang, Wenji Mao, Yongbin Li

cs.AI

Resumo

Os grandes modelos de linguagem (LLMs) tornaram o diálogo um dos principais modos de interação humano-máquina, levando à acumulação de vastas quantidades de registros de conversas e aumentando a demanda por geração de diálogo. Um ciclo de vida conversacional se estende desde o Prólogo, passando pela Interlocução até o Epílogo, abrangendo vários elementos. Apesar da existência de inúmeros estudos relacionados ao diálogo, há uma falta de referências que englobem elementos de diálogo abrangentes, dificultando a modelagem precisa e a avaliação sistemática. Para preencher essa lacuna, introduzimos uma tarefa de pesquisa inovadora: Modelagem de Elementos de Diálogo, que inclui Consciência de Elementos e Interação de Agentes de Diálogo, e propomos um novo benchmark, DEMO, projetado para modelagem e avaliação abrangentes de diálogo. Inspirados pela aprendizagem por imitação, construímos ainda o agente que possui a habilidade hábil de modelar elementos de diálogo com base no benchmark DEMO. Experimentos extensivos indicam que os LLMs existentes ainda apresentam um potencial considerável para aprimoramento, e nosso agente DEMO tem um desempenho superior tanto em tarefas dentro do domínio quanto fora dele.

English

Large language models (LLMs) have made dialogue one of the central modes of human-machine interaction, leading to the accumulation of vast amounts of conversation logs and increasing demand for dialogue generation. A conversational life-cycle spans from the Prelude through the Interlocution to the Epilogue, encompassing various elements. Despite the existence of numerous dialogue-related studies, there is a lack of benchmarks that encompass comprehensive dialogue elements, hindering precise modeling and systematic evaluation. To bridge this gap, we introduce an innovative research task Dialogue Element MOdeling, including Element Awareness and Dialogue Agent Interaction, and propose a novel benchmark, DEMO, designed for a comprehensive dialogue modeling and assessment. Inspired by imitation learning, we further build the agent which possesses the adept ability to model dialogue elements based on the DEMO benchmark. Extensive experiments indicate that existing LLMs still exhibit considerable potential for enhancement, and our DEMO agent has superior performance in both in-domain and out-of-domain tasks.