THEANINE: 長期会話におけるメモリ管理の再考 - タイムライン拡張型応答生成の提案

THEANINE: Revisiting Memory Management in Long-term Conversations with Timeline-augmented Response Generation

June 16, 2024

著者: Seo Hyun Kim, Kai Tzu-iunn Ong, Taeyoon Kwon, Namyoung Kim, Keummin Ka, SeongHyeon Bae, Yohan Jo, Seung-won Hwang, Dongha Lee, Jinyoung Yeo

cs.AI

要旨

大規模言語モデル（LLM）は、追加のメモリモジュールなしでユーザーとの長期的な対話中に長い対話履歴を処理することが可能である。しかし、その応答は過去の情報を見落としたり、誤って思い出したりする傾向がある。本論文では、LLM時代におけるメモリ拡張型応答生成を再考する。従来の研究は古くなったメモリを排除することに焦点を当てていたが、我々はそのようなメモリが過去の出来事の展開を理解するための文脈的な手がかりを提供し、応答生成に役立つと主張する。我々は、Theanineというフレームワークを提案する。これは、関連する過去の出来事の展開と因果関係を示す一連のメモリである「メモリタイムライン」を用いてLLMの応答生成を拡張するものである。Theanineとともに、長期的な会話におけるG-Evalの限界に対処するための反事実駆動型質問応答パイプラインであるTeaFarmを紹介する。我々の手法の補足ビデオとTeaFarm評価用のTeaBagデータセットはhttps://theanine-693b0.web.app/にて公開されている。

English

Large language models (LLMs) are capable of processing lengthy dialogue histories during prolonged interaction with users without additional memory modules; however, their responses tend to overlook or incorrectly recall information from the past. In this paper, we revisit memory-augmented response generation in the era of LLMs. While prior work focuses on getting rid of outdated memories, we argue that such memories can provide contextual cues that help dialogue systems understand the development of past events and, therefore, benefit response generation. We present Theanine, a framework that augments LLMs' response generation with memory timelines -- series of memories that demonstrate the development and causality of relevant past events. Along with Theanine, we introduce TeaFarm, a counterfactual-driven question-answering pipeline addressing the limitation of G-Eval in long-term conversations. Supplementary videos of our methods and the TeaBag dataset for TeaFarm evaluation are in https://theanine-693b0.web.app/.