THEANINE: Ripensare la gestione della memoria nelle conversazioni a lungo termine con generazione di risposte arricchita dalla timeline

THEANINE: Revisiting Memory Management in Long-term Conversations with Timeline-augmented Response Generation

June 16, 2024

Autori: Seo Hyun Kim, Kai Tzu-iunn Ong, Taeyoon Kwon, Namyoung Kim, Keummin Ka, SeongHyeon Bae, Yohan Jo, Seung-won Hwang, Dongha Lee, Jinyoung Yeo

cs.AI

Abstract

I grandi modelli linguistici (LLM) sono in grado di elaborare storie di dialogo estese durante interazioni prolungate con gli utenti senza la necessità di moduli di memoria aggiuntivi; tuttavia, le loro risposte tendono a trascurare o a ricordare in modo errato le informazioni del passato. In questo articolo, riprendiamo in esame la generazione di risposte potenziata dalla memoria nell'era degli LLM. Mentre il lavoro precedente si concentrava sull'eliminazione di memorie obsolete, sosteniamo che tali memorie possono fornire indizi contestuali che aiutano i sistemi di dialogo a comprendere lo sviluppo degli eventi passati e, di conseguenza, a migliorare la generazione delle risposte. Presentiamo Theanine, un framework che potenzia la generazione di risposte degli LLM con linee temporali della memoria — serie di memorie che dimostrano lo sviluppo e la causalità degli eventi passati rilevanti. Insieme a Theanine, introduciamo TeaFarm, una pipeline di risposta alle domande basata su controfattuali che affronta la limitazione di G-Eval nelle conversazioni a lungo termine. Video supplementari dei nostri metodi e il dataset TeaBag per la valutazione di TeaFarm sono disponibili su https://theanine-693b0.web.app/.

English

Large language models (LLMs) are capable of processing lengthy dialogue histories during prolonged interaction with users without additional memory modules; however, their responses tend to overlook or incorrectly recall information from the past. In this paper, we revisit memory-augmented response generation in the era of LLMs. While prior work focuses on getting rid of outdated memories, we argue that such memories can provide contextual cues that help dialogue systems understand the development of past events and, therefore, benefit response generation. We present Theanine, a framework that augments LLMs' response generation with memory timelines -- series of memories that demonstrate the development and causality of relevant past events. Along with Theanine, we introduce TeaFarm, a counterfactual-driven question-answering pipeline addressing the limitation of G-Eval in long-term conversations. Supplementary videos of our methods and the TeaBag dataset for TeaFarm evaluation are in https://theanine-693b0.web.app/.