Conversazione a sessioni miste con memoria egocentrica

Mixed-Session Conversation with Egocentric Memory

October 3, 2024

Autori: Jihyoung Jang, Taeyoung Kim, Hyounghun Kim

cs.AI

Abstract

I sistemi di dialogo recentemente introdotti hanno dimostrato un'elevata usabilità. Tuttavia, essi ancora non riescono a riflettere scenari di conversazione reali. I sistemi di dialogo attuali mostrano un'incapacità di replicare le interazioni dinamiche, continue e a lungo termine che coinvolgono più partner. Questa carenza si verifica perché ci sono stati sforzi limitati per considerare entrambi gli aspetti dei dialoghi reali: interazioni profondamente stratificate nel dialogo a lungo termine e reti di conversazione ampiamente estese che coinvolgono più partecipanti. Con lo sforzo di incorporare questi aspetti combinati, introduciamo il Mixed-Session Conversation, un sistema di dialogo progettato per costruire conversazioni con vari partner in un contesto di dialogo multi-sessione. Proponiamo un nuovo set di dati chiamato MiSC per implementare questo sistema. Gli episodi di dialogo di MiSC consistono in 6 sessioni consecutive, con quattro speaker (un main speaker e tre partner) che appaiono in ciascun episodio. Inoltre, proponiamo un nuovo modello di dialogo con un meccanismo di gestione della memoria innovativo, chiamato Agente di Conversazione a Sessioni Miste potenziato dalla Memoria Egocentrica (EMMA). EMMA raccoglie e conserva i ricordi dalla prospettiva del main speaker durante le conversazioni con i partner, consentendo una continuità senza soluzione di continuità nelle interazioni successive. Valutazioni umane approfondite confermano che i dialoghi in MiSC dimostrano un flusso conversazionale fluido, anche quando i partner di conversazione cambiano in ciascuna sessione. EMMA addestrato con MiSC viene anche valutato per mantenere un'elevata memorabilità senza contraddizioni per l'intera conversazione.

English

Recently introduced dialogue systems have demonstrated high usability. However, they still fall short of reflecting real-world conversation scenarios. Current dialogue systems exhibit an inability to replicate the dynamic, continuous, long-term interactions involving multiple partners. This shortfall arises because there have been limited efforts to account for both aspects of real-world dialogues: deeply layered interactions over the long-term dialogue and widely expanded conversation networks involving multiple participants. As the effort to incorporate these aspects combined, we introduce Mixed-Session Conversation, a dialogue system designed to construct conversations with various partners in a multi-session dialogue setup. We propose a new dataset called MiSC to implement this system. The dialogue episodes of MiSC consist of 6 consecutive sessions, with four speakers (one main speaker and three partners) appearing in each episode. Also, we propose a new dialogue model with a novel memory management mechanism, called Egocentric Memory Enhanced Mixed-Session Conversation Agent (EMMA). EMMA collects and retains memories from the main speaker's perspective during conversations with partners, enabling seamless continuity in subsequent interactions. Extensive human evaluations validate that the dialogues in MiSC demonstrate a seamless conversational flow, even when conversation partners change in each session. EMMA trained with MiSC is also evaluated to maintain high memorability without contradiction throughout the entire conversation.