Bewertung des sehr langfristigen konversationellen Gedächtnisses von LLM-Agenten

Evaluating Very Long-Term Conversational Memory of LLM Agents

February 27, 2024

Autoren: Adyasha Maharana, Dong-Ho Lee, Sergey Tulyakov, Mohit Bansal, Francesco Barbieri, Yuwei Fang

cs.AI

Zusammenfassung

Bestehende Arbeiten zu langfristigen Open-Domain-Dialogen konzentrieren sich auf die Bewertung von Modellantworten in Kontexten, die nicht mehr als fünf Chat-Sitzungen umfassen. Trotz Fortschritten bei Large Language Models (LLMs) mit langem Kontext und Retrieval-Augmented Generation (RAG)-Techniken bleibt ihre Wirksamkeit in sehr langfristigen Dialogen unerforscht. Um diese Forschungslücke zu schließen, führen wir eine Maschinen-Mensch-Pipeline ein, um hochwertige, sehr langfristige Dialoge zu generieren, indem wir LLM-basierte Agentenarchitekturen nutzen und ihre Dialoge auf Personas und zeitliche Ereignisgraphen abstützen. Darüber hinaus statten wir jeden Agenten mit der Fähigkeit aus, Bilder zu teilen und darauf zu reagieren. Die generierten Gespräche werden von menschlichen Annotatoren auf langfristige Konsistenz und Verankerung in den Ereignisgraphen überprüft und bearbeitet. Mit dieser Pipeline sammeln wir LoCoMo, einen Datensatz sehr langfristiger Gespräche, die jeweils durchschnittlich 300 Turns und 9K Tokens über bis zu 35 Sitzungen umfassen. Basierend auf LoCoMo präsentieren wir einen umfassenden Evaluationsbenchmark, um das Langzeitgedächtnis von Modellen zu messen, der Frage-Antwort-Aufgaben, Ereigniszusammenfassungen und multimodale Dialoggenerationsaufgaben umfasst. Unsere experimentellen Ergebnisse zeigen, dass LLMs Schwierigkeiten haben, lange Gespräche zu verstehen und langfristige zeitliche und kausale Dynamiken in Dialogen zu erfassen. Strategien wie LLMs mit langem Kontext oder RAG können Verbesserungen bieten, aber diese Modelle liegen immer noch deutlich hinter der menschlichen Leistung zurück.

English

Existing works on long-term open-domain dialogues focus on evaluating model responses within contexts spanning no more than five chat sessions. Despite advancements in long-context large language models (LLMs) and retrieval augmented generation (RAG) techniques, their efficacy in very long-term dialogues remains unexplored. To address this research gap, we introduce a machine-human pipeline to generate high-quality, very long-term dialogues by leveraging LLM-based agent architectures and grounding their dialogues on personas and temporal event graphs. Moreover, we equip each agent with the capability of sharing and reacting to images. The generated conversations are verified and edited by human annotators for long-range consistency and grounding to the event graphs. Using this pipeline, we collect LoCoMo, a dataset of very long-term conversations, each encompassing 300 turns and 9K tokens on avg., over up to 35 sessions. Based on LoCoMo, we present a comprehensive evaluation benchmark to measure long-term memory in models, encompassing question answering, event summarization, and multi-modal dialogue generation tasks. Our experimental results indicate that LLMs exhibit challenges in understanding lengthy conversations and comprehending long-range temporal and causal dynamics within dialogues. Employing strategies like long-context LLMs or RAG can offer improvements but these models still substantially lag behind human performance.