Gemischte Sitzungskonversation mit egozentrischem Gedächtnis

Mixed-Session Conversation with Egocentric Memory

October 3, 2024

Autoren: Jihyoung Jang, Taeyoung Kim, Hyounghun Kim

cs.AI

Zusammenfassung

Kürzlich eingeführte Dialogsysteme haben eine hohe Benutzerfreundlichkeit gezeigt. Dennoch fehlt es ihnen noch an der Abbildung von Gesprächsszenarien der realen Welt. Aktuelle Dialogsysteme zeigen eine Unfähigkeit, die dynamischen, kontinuierlichen, langfristigen Interaktionen mit mehreren Partnern nachzubilden. Dieser Mangel entsteht, weil bisher nur begrenzte Anstrengungen unternommen wurden, um beide Aspekte von realen Dialogen zu berücksichtigen: tief geschichtete Interaktionen über den langfristigen Dialog hinweg und weitreichende Gesprächsnetzwerke mit mehreren Teilnehmern. Mit dem Ziel, diese Aspekte zu integrieren, stellen wir das Mixed-Session Conversation vor, ein Dialogsystem, das Gespräche mit verschiedenen Partnern in einem Multi-Session-Dialogsetup konstruiert. Wir schlagen einen neuen Datensatz namens MiSC vor, um dieses System umzusetzen. Die Dialogepisoden von MiSC bestehen aus 6 aufeinanderfolgenden Sitzungen, wobei in jeder Episode vier Sprecher (ein Hauptredner und drei Partner) auftreten. Außerdem schlagen wir ein neues Dialogmodell mit einem neuartigen Speicherverwaltungsmechanismus vor, genannt Egocentric Memory Enhanced Mixed-Session Conversation Agent (EMMA). EMMA sammelt und behält Erinnerungen aus der Perspektive des Hauptredners während Gesprächen mit Partnern, was eine nahtlose Kontinuität in nachfolgenden Interaktionen ermöglicht. Umfangreiche menschliche Bewertungen bestätigen, dass die Dialoge in MiSC einen nahtlosen Gesprächsfluss zeigen, selbst wenn sich die Gesprächspartner in jeder Sitzung ändern. EMMA, trainiert mit MiSC, wird auch daraufhin bewertet, eine hohe Merkfähigkeit ohne Widersprüche während des gesamten Gesprächs aufrechtzuerhalten.

English

Recently introduced dialogue systems have demonstrated high usability. However, they still fall short of reflecting real-world conversation scenarios. Current dialogue systems exhibit an inability to replicate the dynamic, continuous, long-term interactions involving multiple partners. This shortfall arises because there have been limited efforts to account for both aspects of real-world dialogues: deeply layered interactions over the long-term dialogue and widely expanded conversation networks involving multiple participants. As the effort to incorporate these aspects combined, we introduce Mixed-Session Conversation, a dialogue system designed to construct conversations with various partners in a multi-session dialogue setup. We propose a new dataset called MiSC to implement this system. The dialogue episodes of MiSC consist of 6 consecutive sessions, with four speakers (one main speaker and three partners) appearing in each episode. Also, we propose a new dialogue model with a novel memory management mechanism, called Egocentric Memory Enhanced Mixed-Session Conversation Agent (EMMA). EMMA collects and retains memories from the main speaker's perspective during conversations with partners, enabling seamless continuity in subsequent interactions. Extensive human evaluations validate that the dialogues in MiSC demonstrate a seamless conversational flow, even when conversation partners change in each session. EMMA trained with MiSC is also evaluated to maintain high memorability without contradiction throughout the entire conversation.