ДЕМО: Переосмысление взаимодействия в диалоге с моделированием элементов мелкой структуры

DEMO: Reframing Dialogue Interaction with Fine-grained Element Modeling

December 6, 2024

Авторы: Minzheng Wang, Xinghua Zhang, Kun Chen, Nan Xu, Haiyang Yu, Fei Huang, Wenji Mao, Yongbin Li

cs.AI

Аннотация

Большие языковые модели (LLM) сделали диалог одним из центральных способов взаимодействия человека с машиной, что привело к накоплению огромного объема журналов разговоров и увеличению спроса на генерацию диалогов. Жизненный цикл беседы охватывает предисловие, интерлокуцию и эпилог, включая различные элементы. Несмотря на существование множества исследований, связанных с диалогами, отсутствует недостаток эталонов, охватывающих все аспекты диалога, что затрудняет точное моделирование и систематическую оценку. Для заполнения этого пробела мы представляем инновационную исследовательскую задачу Моделирование элементов диалога, включающую Осознание элементов и Взаимодействие агента диалога, и предлагаем новый эталон, DEMO, разработанный для всестороннего моделирования и оценки диалога. Вдохновленные обучением по подражанию, мы далее создаем агента, который обладает умением моделировать элементы диалога на основе эталона DEMO. Обширные эксперименты показывают, что существующие LLM все еще обладают значительным потенциалом для улучшения, и наш агент DEMO демонстрирует превосходную производительность как в задачах в пределах области, так и в задачах за ее пределами.

English

Large language models (LLMs) have made dialogue one of the central modes of human-machine interaction, leading to the accumulation of vast amounts of conversation logs and increasing demand for dialogue generation. A conversational life-cycle spans from the Prelude through the Interlocution to the Epilogue, encompassing various elements. Despite the existence of numerous dialogue-related studies, there is a lack of benchmarks that encompass comprehensive dialogue elements, hindering precise modeling and systematic evaluation. To bridge this gap, we introduce an innovative research task Dialogue Element MOdeling, including Element Awareness and Dialogue Agent Interaction, and propose a novel benchmark, DEMO, designed for a comprehensive dialogue modeling and assessment. Inspired by imitation learning, we further build the agent which possesses the adept ability to model dialogue elements based on the DEMO benchmark. Extensive experiments indicate that existing LLMs still exhibit considerable potential for enhancement, and our DEMO agent has superior performance in both in-domain and out-of-domain tasks.