LongMemEval: Avaliação de Referência de Assistentes de Chat na Memória Interativa de Longo Prazo

LongMemEval: Benchmarking Chat Assistants on Long-Term Interactive Memory

October 14, 2024

Autores: Di Wu, Hongwei Wang, Wenhao Yu, Yuwei Zhang, Kai-Wei Chang, Dong Yu

cs.AI

Resumo

Os recentes sistemas de assistentes de chat impulsionados por modelos de linguagem de grande escala (LLM) integraram componentes de memória para rastrear históricos de conversas entre usuário e assistente, permitindo respostas mais precisas e personalizadas. No entanto, suas capacidades de memória de longo prazo em interações sustentadas permanecem pouco exploradas. Este artigo apresenta o LongMemEval, um benchmark abrangente projetado para avaliar cinco habilidades principais de memória de longo prazo de assistentes de chat: extração de informações, raciocínio multi-sessão, raciocínio temporal, atualizações de conhecimento e abstenção. Com 500 perguntas meticulosamente selecionadas incorporadas em históricos de conversas entre usuário e assistente livremente escaláveis, o LongMemEval apresenta um desafio significativo para os sistemas de memória de longo prazo existentes, com assistentes de chat comerciais e LLMs de longo contexto mostrando uma queda de 30% na precisão ao memorizar informações ao longo de interações sustentadas. Em seguida, apresentamos um framework unificado que divide o design de memória de longo prazo em quatro escolhas de design nas etapas de indexação, recuperação e leitura. Com base em insights experimentais-chave, propomos vários designs de memória, incluindo decomposição de sessão para otimização da granularidade de valor, expansão de chave aumentada por fatos para aprimorar a estrutura do índice e expansão de consulta consciente do tempo para refinar o escopo da pesquisa. Os resultados dos experimentos mostram que essas otimizações melhoram significativamente tanto a recuperação de memória quanto a resposta a perguntas subsequentes no LongMemEval. No geral, nosso estudo fornece recursos valiosos e orientações para avançar as capacidades de memória de longo prazo dos assistentes de chat baseados em LLM, abrindo caminho para uma IA conversacional mais personalizada e confiável.

English

Recent large language model (LLM)-driven chat assistant systems have integrated memory components to track user-assistant chat histories, enabling more accurate and personalized responses. However, their long-term memory capabilities in sustained interactions remain underexplored. This paper introduces LongMemEval, a comprehensive benchmark designed to evaluate five core long-term memory abilities of chat assistants: information extraction, multi-session reasoning, temporal reasoning, knowledge updates, and abstention. With 500 meticulously curated questions embedded within freely scalable user-assistant chat histories, LongMemEval presents a significant challenge to existing long-term memory systems, with commercial chat assistants and long-context LLMs showing 30% accuracy drop on memorizing information across sustained interactions. We then present a unified framework that breaks down the long-term memory design into four design choices across the indexing, retrieval, and reading stages. Built upon key experimental insights, we propose several memory designs including session decomposition for optimizing value granularity, fact-augmented key expansion for enhancing the index structure, and time-aware query expansion for refining the search scope. Experiment results show that these optimizations greatly improve both memory recall and downstream question answering on LongMemEval. Overall, our study provides valuable resources and guidance for advancing the long-term memory capabilities of LLM-based chat assistants, paving the way toward more personalized and reliable conversational AI.