THEANINE: Revisitando o Gerenciamento de Memória em Conversas de Longo Prazo com Geração de Respostas Aumentada por Linha do Tempo
THEANINE: Revisiting Memory Management in Long-term Conversations with Timeline-augmented Response Generation
June 16, 2024
Autores: Seo Hyun Kim, Kai Tzu-iunn Ong, Taeyoon Kwon, Namyoung Kim, Keummin Ka, SeongHyeon Bae, Yohan Jo, Seung-won Hwang, Dongha Lee, Jinyoung Yeo
cs.AI
Resumo
Modelos de linguagem de grande escala (LLMs) são capazes de processar longos históricos de diálogo durante interações prolongadas com usuários sem a necessidade de módulos de memória adicionais; no entanto, suas respostas tendem a ignorar ou recordar incorretamente informações do passado. Neste artigo, revisitamos a geração de respostas aumentada por memória na era dos LLMs. Enquanto trabalhos anteriores focam em eliminar memórias desatualizadas, argumentamos que tais memórias podem fornecer pistas contextuais que ajudam sistemas de diálogo a compreender o desenvolvimento de eventos passados e, portanto, beneficiar a geração de respostas. Apresentamos Theanine, um framework que aumenta a geração de respostas dos LLMs com linhas do tempo de memória — séries de memórias que demonstram o desenvolvimento e a causalidade de eventos passados relevantes. Juntamente com Theanine, introduzimos TeaFarm, um pipeline de perguntas e respostas baseado em cenários contrafactuais que aborda a limitação do G-Eval em conversas de longo prazo. Vídeos complementares de nossos métodos e o conjunto de dados TeaBag para avaliação do TeaFarm estão disponíveis em https://theanine-693b0.web.app/.
English
Large language models (LLMs) are capable of processing lengthy dialogue
histories during prolonged interaction with users without additional memory
modules; however, their responses tend to overlook or incorrectly recall
information from the past. In this paper, we revisit memory-augmented response
generation in the era of LLMs. While prior work focuses on getting rid of
outdated memories, we argue that such memories can provide contextual cues that
help dialogue systems understand the development of past events and, therefore,
benefit response generation. We present Theanine, a framework that augments
LLMs' response generation with memory timelines -- series of memories that
demonstrate the development and causality of relevant past events. Along with
Theanine, we introduce TeaFarm, a counterfactual-driven question-answering
pipeline addressing the limitation of G-Eval in long-term conversations.
Supplementary videos of our methods and the TeaBag dataset for TeaFarm
evaluation are in https://theanine-693b0.web.app/.