자아 중심 기억을 활용한 혼합 세션 대화

Mixed-Session Conversation with Egocentric Memory

October 3, 2024

저자: Jihyoung Jang, Taeyoung Kim, Hyounghun Kim

cs.AI

초록

최근 도입된 대화 시스템은 높은 사용성을 보여주었습니다. 그러나 아직 현실 세계 대화 시나리오를 충분히 반영하지 못하고 있습니다. 현재의 대화 시스템은 다양한 파트너를 포함한 동적하고 연속적이며 장기간의 상호작용을 복제하는 능력이 부족합니다. 이 결핍은 현실 대화의 양면 측면을 감안한 노력이 제한되어 왔기 때문에 발생합니다: 장기 대화에서의 깊게 층쌓인 상호작용과 다수 참여자가 포함된 대화 네트워크. 이러한 측면을 통합하기 위한 노력으로 Mixed-Session Conversation을 소개합니다. 이는 다양한 파트너와의 대화를 구축하기 위해 설계된 대화 시스템으로, 이 시스템을 구현하기 위해 MiSC라는 새로운 데이터셋을 제안합니다. MiSC의 대화 에피소드는 각 에피소드마다 4명의 화자(주 화자 1명 및 파트너 3명)가 참여하는 6개의 연속 세션으로 구성됩니다. 또한, 주요 화자의 관점에서 파트너와의 대화 중 기억을 수집하고 유지하는 새로운 메모리 관리 메커니즘을 갖춘 새로운 대화 모델을 제안합니다. 이 모델은 Egocentric Memory Enhanced Mixed-Session Conversation Agent(EMMA)로 명명되었습니다. EMMA는 후속 상호작용에서의 원활한 연속성을 가능하게 하는 주요 화자의 관점에서의 기억을 수집 및 유지합니다. 광범위한 인간 평가는 MiSC의 대화가 각 세션마다 대화 파트너가 변경되더라도 원활한 대화 흐름을 보여준다는 것을 검증합니다. MiSC로 훈련된 EMMA는 대화 전체를 통틀어 모순 없이 높은 기억력을 유지하는 것으로 평가되었습니다.

English

Recently introduced dialogue systems have demonstrated high usability. However, they still fall short of reflecting real-world conversation scenarios. Current dialogue systems exhibit an inability to replicate the dynamic, continuous, long-term interactions involving multiple partners. This shortfall arises because there have been limited efforts to account for both aspects of real-world dialogues: deeply layered interactions over the long-term dialogue and widely expanded conversation networks involving multiple participants. As the effort to incorporate these aspects combined, we introduce Mixed-Session Conversation, a dialogue system designed to construct conversations with various partners in a multi-session dialogue setup. We propose a new dataset called MiSC to implement this system. The dialogue episodes of MiSC consist of 6 consecutive sessions, with four speakers (one main speaker and three partners) appearing in each episode. Also, we propose a new dialogue model with a novel memory management mechanism, called Egocentric Memory Enhanced Mixed-Session Conversation Agent (EMMA). EMMA collects and retains memories from the main speaker's perspective during conversations with partners, enabling seamless continuity in subsequent interactions. Extensive human evaluations validate that the dialogues in MiSC demonstrate a seamless conversational flow, even when conversation partners change in each session. EMMA trained with MiSC is also evaluated to maintain high memorability without contradiction throughout the entire conversation.