THEANINE: Revisión de la gestión de memoria en conversaciones a largo plazo con generación de respuestas aumentada por líneas de tiempo

THEANINE: Revisiting Memory Management in Long-term Conversations with Timeline-augmented Response Generation

June 16, 2024

Autores: Seo Hyun Kim, Kai Tzu-iunn Ong, Taeyoon Kwon, Namyoung Kim, Keummin Ka, SeongHyeon Bae, Yohan Jo, Seung-won Hwang, Dongha Lee, Jinyoung Yeo

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) son capaces de procesar historiales de diálogo extensos durante interacciones prolongadas con los usuarios sin necesidad de módulos de memoria adicionales; sin embargo, sus respuestas tienden a pasar por alto o recordar incorrectamente información del pasado. En este artículo, revisitamos la generación de respuestas aumentada con memoria en la era de los LLMs. Mientras que trabajos previos se centran en eliminar recuerdos obsoletos, argumentamos que dichos recuerdos pueden proporcionar pistas contextuales que ayudan a los sistemas de diálogo a comprender el desarrollo de eventos pasados y, por lo tanto, beneficiar la generación de respuestas. Presentamos Theanine, un marco que aumenta la generación de respuestas de los LLMs con líneas de tiempo de memoria —series de recuerdos que demuestran el desarrollo y la causalidad de eventos pasados relevantes—. Junto con Theanine, introducimos TeaFarm, una canalización de preguntas y respuestas basada en contrafactuales que aborda la limitación de G-Eval en conversaciones a largo plazo. Los videos complementarios de nuestros métodos y el conjunto de datos TeaBag para la evaluación de TeaFarm están disponibles en https://theanine-693b0.web.app/.

English

Large language models (LLMs) are capable of processing lengthy dialogue histories during prolonged interaction with users without additional memory modules; however, their responses tend to overlook or incorrectly recall information from the past. In this paper, we revisit memory-augmented response generation in the era of LLMs. While prior work focuses on getting rid of outdated memories, we argue that such memories can provide contextual cues that help dialogue systems understand the development of past events and, therefore, benefit response generation. We present Theanine, a framework that augments LLMs' response generation with memory timelines -- series of memories that demonstrate the development and causality of relevant past events. Along with Theanine, we introduce TeaFarm, a counterfactual-driven question-answering pipeline addressing the limitation of G-Eval in long-term conversations. Supplementary videos of our methods and the TeaBag dataset for TeaFarm evaluation are in https://theanine-693b0.web.app/.