ТЕАНИН: Пересмотр управления памятью в долгосрочных разговорах с генерацией ответов, дополненных временной шкалой.

THEANINE: Revisiting Memory Management in Long-term Conversations with Timeline-augmented Response Generation

June 16, 2024

Авторы: Seo Hyun Kim, Kai Tzu-iunn Ong, Taeyoon Kwon, Namyoung Kim, Keummin Ka, SeongHyeon Bae, Yohan Jo, Seung-won Hwang, Dongha Lee, Jinyoung Yeo

cs.AI

Аннотация

Большие языковые модели (LLM) способны обрабатывать длинные истории диалогов во время продолжительного взаимодействия с пользователями без дополнительных модулей памяти; однако их ответы часто игнорируют или неправильно вспоминают информацию из прошлого. В данной статье мы пересматриваем генерацию ответов с увеличением памяти в эпоху LLM. В то время как предыдущие работы сосредотачивались на избавлении от устаревших воспоминаний, мы утверждаем, что такие воспоминания могут предоставить контекстные подсказки, которые помогут системам диалога понять развитие прошлых событий и, следовательно, улучшить генерацию ответов. Мы представляем Theanine, фреймворк, который дополняет генерацию ответов LLM с помощью временных линий памяти - серий воспоминаний, демонстрирующих развитие и причинно-следственные связи соответствующих прошлых событий. Вместе с Theanine мы представляем TeaFarm, контерфактуально-ориентированный конвейер вопросно-ответной системы, решающий ограничения G-Eval в долгосрочных разговорах. Дополнительные видео наших методов и набор данных TeaBag для оценки TeaFarm доступны по ссылке https://theanine-693b0.web.app/.

English

Large language models (LLMs) are capable of processing lengthy dialogue histories during prolonged interaction with users without additional memory modules; however, their responses tend to overlook or incorrectly recall information from the past. In this paper, we revisit memory-augmented response generation in the era of LLMs. While prior work focuses on getting rid of outdated memories, we argue that such memories can provide contextual cues that help dialogue systems understand the development of past events and, therefore, benefit response generation. We present Theanine, a framework that augments LLMs' response generation with memory timelines -- series of memories that demonstrate the development and causality of relevant past events. Along with Theanine, we introduce TeaFarm, a counterfactual-driven question-answering pipeline addressing the limitation of G-Eval in long-term conversations. Supplementary videos of our methods and the TeaBag dataset for TeaFarm evaluation are in https://theanine-693b0.web.app/.