Avaliação da Memória Conversacional de Longuíssimo Prazo em Agentes de LLM

Evaluating Very Long-Term Conversational Memory of LLM Agents

February 27, 2024

Autores: Adyasha Maharana, Dong-Ho Lee, Sergey Tulyakov, Mohit Bansal, Francesco Barbieri, Yuwei Fang

cs.AI

Resumo

Trabalhos existentes sobre diálogos abertos de longo prazo focam em avaliar as respostas dos modelos em contextos que abrangem no máximo cinco sessões de chat. Apesar dos avanços em modelos de linguagem de grande escala (LLMs) de contexto longo e técnicas de geração aumentada por recuperação (RAG), sua eficácia em diálogos de muito longo prazo permanece inexplorada. Para abordar essa lacuna de pesquisa, introduzimos um pipeline máquina-humano para gerar diálogos de muito longo prazo de alta qualidade, aproveitando arquiteturas de agentes baseadas em LLMs e fundamentando seus diálogos em personas e grafos de eventos temporais. Além disso, equipamos cada agente com a capacidade de compartilhar e reagir a imagens. As conversas geradas são verificadas e editadas por anotadores humanos para garantir consistência de longo alcance e fundamentação nos grafos de eventos. Usando esse pipeline, coletamos o LoCoMo, um conjunto de dados de conversas de muito longo prazo, cada uma abrangendo 300 turnos e 9K tokens em média, ao longo de até 35 sessões. Com base no LoCoMo, apresentamos um benchmark de avaliação abrangente para medir a memória de longo prazo em modelos, englobando tarefas de resposta a perguntas, resumo de eventos e geração de diálogos multimodais. Nossos resultados experimentais indicam que os LLMs enfrentam desafios em entender conversas longas e compreender dinâmicas temporais e causais de longo alcance dentro dos diálogos. Empregar estratégias como LLMs de contexto longo ou RAG pode oferecer melhorias, mas esses modelos ainda ficam substancialmente atrás do desempenho humano.

English

Existing works on long-term open-domain dialogues focus on evaluating model responses within contexts spanning no more than five chat sessions. Despite advancements in long-context large language models (LLMs) and retrieval augmented generation (RAG) techniques, their efficacy in very long-term dialogues remains unexplored. To address this research gap, we introduce a machine-human pipeline to generate high-quality, very long-term dialogues by leveraging LLM-based agent architectures and grounding their dialogues on personas and temporal event graphs. Moreover, we equip each agent with the capability of sharing and reacting to images. The generated conversations are verified and edited by human annotators for long-range consistency and grounding to the event graphs. Using this pipeline, we collect LoCoMo, a dataset of very long-term conversations, each encompassing 300 turns and 9K tokens on avg., over up to 35 sessions. Based on LoCoMo, we present a comprehensive evaluation benchmark to measure long-term memory in models, encompassing question answering, event summarization, and multi-modal dialogue generation tasks. Our experimental results indicate that LLMs exhibit challenges in understanding lengthy conversations and comprehending long-range temporal and causal dynamics within dialogues. Employing strategies like long-context LLMs or RAG can offer improvements but these models still substantially lag behind human performance.