エゴセントリックメモリを持つミックスセッション会話

Mixed-Session Conversation with Egocentric Memory

October 3, 2024

著者: Jihyoung Jang, Taeyoung Kim, Hyounghun Kim

cs.AI

要旨

最近導入された対話システムは高い使いやすさを示しています。しかし、それらはまだ現実世界の会話シナリオを反映するのには及んでいません。現在の対話システムは、複数のパートナーを巻き込むダイナミックで連続的で長期にわたる相互作用を複製する能力に欠けています。この欠点は、現実世界の対話の両側面を考慮する取り組みが限られていたために生じています。すなわち、長期にわたる対話での深く層状の相互作用と、複数の参加者を巻き込む広範な会話ネットワークです。これらの側面を組み合わせる取り組みとして、私たちはMixed-Session Conversationを導入します。これは、複数のパートナーとの会話を構築するために設計された対話システムです。このシステムを実装するためにMiSCという新しいデータセットを提案します。MiSCの対話エピソードは6つの連続セッションで構成され、各エピソードには4人のスピーカー（1人のメインスピーカーと3人のパートナー）が登場します。また、私たちは新しい対話モデルを提案しています。このモデルには、新しいメモリ管理メカニズムがあり、Egocentric Memory Enhanced Mixed-Session Conversation Agent（EMMA）と呼ばれています。EMMAは、パートナーとの会話中にメインスピーカーの視点から記憶を収集し保持することで、後続の相互作用においてシームレスな連続性を実現します。広範な人間の評価により、MiSCの対話が、各セッションで会話パートナーが変わってもシームレスな会話の流れを示していることが検証されています。MiSCで訓練されたEMMAは、会話全体を通じて矛盾なく高い記憶力を維持することも評価されています。

English

Recently introduced dialogue systems have demonstrated high usability. However, they still fall short of reflecting real-world conversation scenarios. Current dialogue systems exhibit an inability to replicate the dynamic, continuous, long-term interactions involving multiple partners. This shortfall arises because there have been limited efforts to account for both aspects of real-world dialogues: deeply layered interactions over the long-term dialogue and widely expanded conversation networks involving multiple participants. As the effort to incorporate these aspects combined, we introduce Mixed-Session Conversation, a dialogue system designed to construct conversations with various partners in a multi-session dialogue setup. We propose a new dataset called MiSC to implement this system. The dialogue episodes of MiSC consist of 6 consecutive sessions, with four speakers (one main speaker and three partners) appearing in each episode. Also, we propose a new dialogue model with a novel memory management mechanism, called Egocentric Memory Enhanced Mixed-Session Conversation Agent (EMMA). EMMA collects and retains memories from the main speaker's perspective during conversations with partners, enabling seamless continuity in subsequent interactions. Extensive human evaluations validate that the dialogues in MiSC demonstrate a seamless conversational flow, even when conversation partners change in each session. EMMA trained with MiSC is also evaluated to maintain high memorability without contradiction throughout the entire conversation.