DIEANIN: Überprüfung des Speichermanagements in Langzeitgesprächen mit zeitliniengestützter Antwortgenerierung

THEANINE: Revisiting Memory Management in Long-term Conversations with Timeline-augmented Response Generation

June 16, 2024

Autoren: Seo Hyun Kim, Kai Tzu-iunn Ong, Taeyoon Kwon, Namyoung Kim, Keummin Ka, SeongHyeon Bae, Yohan Jo, Seung-won Hwang, Dongha Lee, Jinyoung Yeo

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) sind in der Lage, umfangreiche Dialogverläufe während langer Interaktionen mit Benutzern ohne zusätzliche Speichermodule zu verarbeiten; jedoch neigen ihre Antworten dazu, Informationen aus der Vergangenheit zu übersehen oder falsch zu erinnern. In diesem Paper überdenken wir die speichererweiterte Antwortgenerierung im Zeitalter von LLMs. Während bisherige Arbeiten darauf abzielen, veraltete Erinnerungen loszuwerden, argumentieren wir, dass solche Erinnerungen kontextuelle Hinweise liefern können, die Dialogsystemen helfen, die Entwicklung vergangener Ereignisse zu verstehen und somit die Antwortgenerierung zu verbessern. Wir stellen Theanine vor, ein Framework, das die Antwortgenerierung von LLMs mit Gedächtniszeitachsen erweitert - Serien von Erinnerungen, die die Entwicklung und Kausalität relevanter vergangener Ereignisse aufzeigen. Neben Theanine führen wir TeaFarm ein, eine kontrafaktisch gesteuerte Frage-Antwort-Pipeline, die die Einschränkung von G-Eval in langfristigen Gesprächen angeht. Zusätzliche Videos unserer Methoden und des TeaBag-Datensatzes zur Bewertung von TeaFarm finden Sie unter https://theanine-693b0.web.app/.

English

Large language models (LLMs) are capable of processing lengthy dialogue histories during prolonged interaction with users without additional memory modules; however, their responses tend to overlook or incorrectly recall information from the past. In this paper, we revisit memory-augmented response generation in the era of LLMs. While prior work focuses on getting rid of outdated memories, we argue that such memories can provide contextual cues that help dialogue systems understand the development of past events and, therefore, benefit response generation. We present Theanine, a framework that augments LLMs' response generation with memory timelines -- series of memories that demonstrate the development and causality of relevant past events. Along with Theanine, we introduce TeaFarm, a counterfactual-driven question-answering pipeline addressing the limitation of G-Eval in long-term conversations. Supplementary videos of our methods and the TeaBag dataset for TeaFarm evaluation are in https://theanine-693b0.web.app/.