LongMemEval: Evaluación de Referencia de Asistentes de Chat en Memoria Interactiva a Largo Plazo

LongMemEval: Benchmarking Chat Assistants on Long-Term Interactive Memory

October 14, 2024

Autores: Di Wu, Hongwei Wang, Wenhao Yu, Yuwei Zhang, Kai-Wei Chang, Dong Yu

cs.AI

Resumen

Los recientes sistemas de asistentes de chat impulsados por modelos de lenguaje grandes (LLM) han integrado componentes de memoria para rastrear historiales de chat de usuario-asistente, lo que permite respuestas más precisas y personalizadas. Sin embargo, sus capacidades de memoria a largo plazo en interacciones sostenidas siguen siendo poco exploradas. Este artículo presenta LongMemEval, un banco de pruebas integral diseñado para evaluar cinco habilidades centrales de memoria a largo plazo de asistentes de chat: extracción de información, razonamiento multi-sesión, razonamiento temporal, actualizaciones de conocimiento y abstención. Con 500 preguntas meticulosamente seleccionadas integradas en historiales de chat usuario-asistente libremente escalables, LongMemEval presenta un desafío significativo para los sistemas de memoria a largo plazo existentes, con asistentes de chat comerciales y LLMs de largo contexto mostrando una disminución del 30% en la precisión al memorizar información a lo largo de interacciones sostenidas. Luego presentamos un marco unificado que desglosa el diseño de memoria a largo plazo en cuatro opciones de diseño a lo largo de las etapas de indexación, recuperación y lectura. Basándonos en conocimientos experimentales clave, proponemos varios diseños de memoria que incluyen descomposición de sesiones para optimizar la granularidad del valor, expansión de claves aumentadas con hechos para mejorar la estructura del índice y expansión de consultas consciente del tiempo para refinar el alcance de la búsqueda. Los resultados experimentales muestran que estas optimizaciones mejoran considerablemente tanto la recuperación de memoria como la respuesta a preguntas en LongMemEval. En general, nuestro estudio proporciona recursos valiosos y orientación para avanzar en las capacidades de memoria a largo plazo de los asistentes de chat basados en LLM, allanando el camino hacia una IA conversacional más personalizada y confiable.

English

Recent large language model (LLM)-driven chat assistant systems have integrated memory components to track user-assistant chat histories, enabling more accurate and personalized responses. However, their long-term memory capabilities in sustained interactions remain underexplored. This paper introduces LongMemEval, a comprehensive benchmark designed to evaluate five core long-term memory abilities of chat assistants: information extraction, multi-session reasoning, temporal reasoning, knowledge updates, and abstention. With 500 meticulously curated questions embedded within freely scalable user-assistant chat histories, LongMemEval presents a significant challenge to existing long-term memory systems, with commercial chat assistants and long-context LLMs showing 30% accuracy drop on memorizing information across sustained interactions. We then present a unified framework that breaks down the long-term memory design into four design choices across the indexing, retrieval, and reading stages. Built upon key experimental insights, we propose several memory designs including session decomposition for optimizing value granularity, fact-augmented key expansion for enhancing the index structure, and time-aware query expansion for refining the search scope. Experiment results show that these optimizations greatly improve both memory recall and downstream question answering on LongMemEval. Overall, our study provides valuable resources and guidance for advancing the long-term memory capabilities of LLM-based chat assistants, paving the way toward more personalized and reliable conversational AI.