Conversa de Sessão Mista com Memória Egocêntrica

Mixed-Session Conversation with Egocentric Memory

October 3, 2024

Autores: Jihyoung Jang, Taeyoung Kim, Hyounghun Kim

cs.AI

Resumo

Os sistemas de diálogo recentemente introduzidos têm demonstrado alta usabilidade. No entanto, ainda não conseguem refletir adequadamente cenários de conversação do mundo real. Os sistemas de diálogo atuais exibem uma incapacidade de replicar as interações dinâmicas, contínuas e de longo prazo envolvendo múltiplos parceiros. Essa lacuna surge devido aos esforços limitados para considerar ambos os aspectos das conversas do mundo real: interações profundamente estratificadas ao longo do diálogo de longo prazo e redes de conversação amplamente expandidas envolvendo múltiplos participantes. À medida que o esforço para incorporar esses aspectos combinados, apresentamos a Conversa de Sessão Mista, um sistema de diálogo projetado para construir conversas com vários parceiros em um ambiente de diálogo de múltiplas sessões. Propomos um novo conjunto de dados chamado MiSC para implementar este sistema. Os episódios de diálogo do MiSC consistem em 6 sessões consecutivas, com quatro falantes (um falante principal e três parceiros) aparecendo em cada episódio. Além disso, propomos um novo modelo de diálogo com um mecanismo de gerenciamento de memória inovador, chamado Agente de Conversa de Sessão Mista com Memória Egocêntrica Aprimorada (EMMA). EMMA coleta e retém memórias da perspectiva do falante principal durante as conversas com os parceiros, possibilitando continuidade perfeita em interações subsequentes. Avaliações humanas extensivas validam que os diálogos no MiSC demonstram um fluxo conversacional contínuo, mesmo quando os parceiros de conversa mudam em cada sessão. EMMA treinado com MiSC também é avaliado para manter alta memorabilidade sem contradições ao longo de toda a conversa.

English

Recently introduced dialogue systems have demonstrated high usability. However, they still fall short of reflecting real-world conversation scenarios. Current dialogue systems exhibit an inability to replicate the dynamic, continuous, long-term interactions involving multiple partners. This shortfall arises because there have been limited efforts to account for both aspects of real-world dialogues: deeply layered interactions over the long-term dialogue and widely expanded conversation networks involving multiple participants. As the effort to incorporate these aspects combined, we introduce Mixed-Session Conversation, a dialogue system designed to construct conversations with various partners in a multi-session dialogue setup. We propose a new dataset called MiSC to implement this system. The dialogue episodes of MiSC consist of 6 consecutive sessions, with four speakers (one main speaker and three partners) appearing in each episode. Also, we propose a new dialogue model with a novel memory management mechanism, called Egocentric Memory Enhanced Mixed-Session Conversation Agent (EMMA). EMMA collects and retains memories from the main speaker's perspective during conversations with partners, enabling seamless continuity in subsequent interactions. Extensive human evaluations validate that the dialogues in MiSC demonstrate a seamless conversational flow, even when conversation partners change in each session. EMMA trained with MiSC is also evaluated to maintain high memorability without contradiction throughout the entire conversation.