Gemengde-sessiegesprek met egocentrisch geheugen

Mixed-Session Conversation with Egocentric Memory

October 3, 2024

Auteurs: Jihyoung Jang, Taeyoung Kim, Hyounghun Kim

cs.AI

Samenvatting

Onlangs geïntroduceerde dialoogsystemen hebben een hoge bruikbaarheid aangetoond. Echter, ze schieten nog steeds tekort in het weerspiegelen van gespreksscenario's in de echte wereld. Huidige dialoogsystemen vertonen een onvermogen om de dynamische, continue, langdurige interacties met meerdere partners na te bootsen. Dit tekort ontstaat doordat er beperkte inspanningen zijn geweest om rekening te houden met beide aspecten van dialogen in de echte wereld: diepgaande interacties over de lange termijn en uitgebreide gespreksnetwerken met meerdere deelnemers. Met als doel deze aspecten te integreren, introduceren we Mixed-Session Conversation, een dialoogsysteem dat is ontworpen om gesprekken met verschillende partners in een multi-sessie dialoogopstelling te construeren. We stellen een nieuw dataset genaamd MiSC voor om dit systeem te implementeren. De dialoogafleveringen van MiSC bestaan uit 6 opeenvolgende sessies, waarbij vier sprekers (één hoofdspreker en drie partners) in elke aflevering verschijnen. Ook stellen we een nieuw dialoogmodel voor met een nieuw geheugenbeheermechanisme, genaamd Egocentrisch Geheugen Versterkte Mixed-Session Conversation Agent (EMMA). EMMA verzamelt en behoudt herinneringen vanuit het perspectief van de hoofdspreker tijdens gesprekken met partners, waardoor naadloze continuïteit in daaropvolgende interacties mogelijk is. Uitgebreide menselijke evaluaties bevestigen dat de dialogen in MiSC een naadloze conversatiestroom demonstreren, zelfs wanneer gesprekspartners in elke sessie veranderen. EMMA, getraind met MiSC, wordt ook geëvalueerd om een hoge herinnerbaarheid zonder tegenstrijdigheden gedurende het hele gesprek te behouden.

English

Recently introduced dialogue systems have demonstrated high usability. However, they still fall short of reflecting real-world conversation scenarios. Current dialogue systems exhibit an inability to replicate the dynamic, continuous, long-term interactions involving multiple partners. This shortfall arises because there have been limited efforts to account for both aspects of real-world dialogues: deeply layered interactions over the long-term dialogue and widely expanded conversation networks involving multiple participants. As the effort to incorporate these aspects combined, we introduce Mixed-Session Conversation, a dialogue system designed to construct conversations with various partners in a multi-session dialogue setup. We propose a new dataset called MiSC to implement this system. The dialogue episodes of MiSC consist of 6 consecutive sessions, with four speakers (one main speaker and three partners) appearing in each episode. Also, we propose a new dialogue model with a novel memory management mechanism, called Egocentric Memory Enhanced Mixed-Session Conversation Agent (EMMA). EMMA collects and retains memories from the main speaker's perspective during conversations with partners, enabling seamless continuity in subsequent interactions. Extensive human evaluations validate that the dialogues in MiSC demonstrate a seamless conversational flow, even when conversation partners change in each session. EMMA trained with MiSC is also evaluated to maintain high memorability without contradiction throughout the entire conversation.