Evaluación de la Memoria Conversacional a Muy Largo Plazo en Agentes de Modelos de Lenguaje Grande (LLM)

Evaluating Very Long-Term Conversational Memory of LLM Agents

February 27, 2024

Autores: Adyasha Maharana, Dong-Ho Lee, Sergey Tulyakov, Mohit Bansal, Francesco Barbieri, Yuwei Fang

cs.AI

Resumen

Los trabajos existentes sobre diálogos abiertos a largo plazo se centran en evaluar las respuestas de los modelos dentro de contextos que abarcan no más de cinco sesiones de chat. A pesar de los avances en los modelos de lenguaje de gran contexto (LLMs) y las técnicas de generación aumentada por recuperación (RAG), su eficacia en diálogos de muy largo plazo sigue sin explorarse. Para abordar esta brecha de investigación, introducimos una canalización máquina-humano para generar diálogos de muy alta calidad y largo plazo, aprovechando arquitecturas de agentes basados en LLMs y fundamentando sus diálogos en personas y gráficos de eventos temporales. Además, equipamos a cada agente con la capacidad de compartir y reaccionar a imágenes. Las conversaciones generadas son verificadas y editadas por anotadores humanos para garantizar la consistencia a largo plazo y su fundamentación en los gráficos de eventos. Utilizando esta canalización, recopilamos LoCoMo, un conjunto de datos de conversaciones de muy largo plazo, cada una abarcando 300 turnos y 9K tokens en promedio, distribuidas en hasta 35 sesiones. Basándonos en LoCoMo, presentamos una evaluación integral para medir la memoria a largo plazo en los modelos, que incluye tareas de respuesta a preguntas, resumen de eventos y generación de diálogos multimodales. Nuestros resultados experimentales indican que los LLMs enfrentan desafíos para comprender conversaciones extensas y dinámicas temporales y causales de largo alcance dentro de los diálogos. Emplear estrategias como LLMs de contexto largo o RAG puede ofrecer mejoras, pero estos modelos aún están considerablemente por detrás del rendimiento humano.

English

Existing works on long-term open-domain dialogues focus on evaluating model responses within contexts spanning no more than five chat sessions. Despite advancements in long-context large language models (LLMs) and retrieval augmented generation (RAG) techniques, their efficacy in very long-term dialogues remains unexplored. To address this research gap, we introduce a machine-human pipeline to generate high-quality, very long-term dialogues by leveraging LLM-based agent architectures and grounding their dialogues on personas and temporal event graphs. Moreover, we equip each agent with the capability of sharing and reacting to images. The generated conversations are verified and edited by human annotators for long-range consistency and grounding to the event graphs. Using this pipeline, we collect LoCoMo, a dataset of very long-term conversations, each encompassing 300 turns and 9K tokens on avg., over up to 35 sessions. Based on LoCoMo, we present a comprehensive evaluation benchmark to measure long-term memory in models, encompassing question answering, event summarization, and multi-modal dialogue generation tasks. Our experimental results indicate that LLMs exhibit challenges in understanding lengthy conversations and comprehending long-range temporal and causal dynamics within dialogues. Employing strategies like long-context LLMs or RAG can offer improvements but these models still substantially lag behind human performance.