THEANINE: Heroverweging van Geheugenbeheer in Langdurige Gesprekken met Tijdlijn-ondersteunde Responsgeneratie

THEANINE: Revisiting Memory Management in Long-term Conversations with Timeline-augmented Response Generation

June 16, 2024

Auteurs: Seo Hyun Kim, Kai Tzu-iunn Ong, Taeyoon Kwon, Namyoung Kim, Keummin Ka, SeongHyeon Bae, Yohan Jo, Seung-won Hwang, Dongha Lee, Jinyoung Yeo

cs.AI

Samenvatting

Grote taalmmodellen (LLMs) zijn in staat om uitgebreide dialooggeschiedenissen te verwerken tijdens langdurige interacties met gebruikers zonder extra geheugenmodules; hun reacties hebben echter de neiging om informatie uit het verleden over het hoofd te zien of verkeerd te herinneren. In dit artikel herzien we geheugen-augmented responsgeneratie in het tijdperk van LLMs. Terwijl eerder werk zich richtte op het verwijderen van verouderde herinneringen, stellen wij dat dergelijke herinneringen contextuele aanwijzingen kunnen bieden die dialoogsystemen helpen de ontwikkeling van eerdere gebeurtenissen te begrijpen en daardoor de responsgeneratie ten goede komen. Wij presenteren Theanine, een raamwerk dat de responsgeneratie van LLMs verrijkt met geheugentijdlijnen — reeksen herinneringen die de ontwikkeling en causaliteit van relevante eerdere gebeurtenissen demonstreren. Naast Theanine introduceren we TeaFarm, een tegenfeitelijke vraag-antwoordpipeline die de beperkingen van G-Eval in langdurige gesprekken aanpakt. Aanvullende video's van onze methoden en de TeaBag-dataset voor TeaFarm-evaluatie zijn te vinden op https://theanine-693b0.web.app/.

English

Large language models (LLMs) are capable of processing lengthy dialogue histories during prolonged interaction with users without additional memory modules; however, their responses tend to overlook or incorrectly recall information from the past. In this paper, we revisit memory-augmented response generation in the era of LLMs. While prior work focuses on getting rid of outdated memories, we argue that such memories can provide contextual cues that help dialogue systems understand the development of past events and, therefore, benefit response generation. We present Theanine, a framework that augments LLMs' response generation with memory timelines -- series of memories that demonstrate the development and causality of relevant past events. Along with Theanine, we introduce TeaFarm, a counterfactual-driven question-answering pipeline addressing the limitation of G-Eval in long-term conversations. Supplementary videos of our methods and the TeaBag dataset for TeaFarm evaluation are in https://theanine-693b0.web.app/.