THEANINE: 타임라인 기반 응답 생성을 통한 장기 대화의 메모리 관리 재고찰

THEANINE: Revisiting Memory Management in Long-term Conversations with Timeline-augmented Response Generation

June 16, 2024

저자: Seo Hyun Kim, Kai Tzu-iunn Ong, Taeyoon Kwon, Namyoung Kim, Keummin Ka, SeongHyeon Bae, Yohan Jo, Seung-won Hwang, Dongha Lee, Jinyoung Yeo

cs.AI

초록

대규모 언어 모델(LLM)은 추가적인 메모리 모듈 없이도 사용자와의 장기적인 상호작용 동안 긴 대화 기록을 처리할 수 있지만, 과거 정보를 간과하거나 잘못 기억하는 경향이 있습니다. 본 논문에서는 LLM 시대에 메모리 보강 응답 생성 문제를 재조명합니다. 기존 연구는 오래된 메모리를 제거하는 데 초점을 맞추었지만, 우리는 이러한 메모리가 과거 사건의 전개를 이해하는 데 도움을 주는 맥락적 단서를 제공함으로써 응답 생성에 이점을 줄 수 있다고 주장합니다. 우리는 Theanine이라는 프레임워크를 제안합니다. 이 프레임워크는 관련 과거 사건의 전개와 인과관계를 보여주는 메모리 타임라인을 통해 LLM의 응답 생성을 보강합니다. Theanine과 함께, 우리는 장기 대화에서 G-Eval의 한계를 해결하기 위한 반사실적 질의응답 파이프라인인 TeaFarm을 소개합니다. 우리 방법의 보충 비디오와 TeaFarm 평가를 위한 TeaBag 데이터셋은 https://theanine-693b0.web.app/에서 확인할 수 있습니다.

English

Large language models (LLMs) are capable of processing lengthy dialogue histories during prolonged interaction with users without additional memory modules; however, their responses tend to overlook or incorrectly recall information from the past. In this paper, we revisit memory-augmented response generation in the era of LLMs. While prior work focuses on getting rid of outdated memories, we argue that such memories can provide contextual cues that help dialogue systems understand the development of past events and, therefore, benefit response generation. We present Theanine, a framework that augments LLMs' response generation with memory timelines -- series of memories that demonstrate the development and causality of relevant past events. Along with Theanine, we introduce TeaFarm, a counterfactual-driven question-answering pipeline addressing the limitation of G-Eval in long-term conversations. Supplementary videos of our methods and the TeaBag dataset for TeaFarm evaluation are in https://theanine-693b0.web.app/.