Het evalueren van het zeer langetermijnconversatiegeheugen van LLM-agents

Samenvatting

Bestaande onderzoeken naar langetermijn open-domein dialogen richten zich op het evalueren van modelreacties binnen contexten die niet meer dan vijf chatsessies omvatten. Ondanks vooruitgang in lange-context grote taalmodellen (LLMs) en retrieval-augmented generation (RAG) technieken, blijft hun effectiviteit in zeer langetermijn dialogen ononderzocht. Om dit onderzoeksgat aan te pakken, introduceren we een machine-mens pijplijn om hoogwaardige, zeer langetermijn dialogen te genereren door gebruik te maken van LLM-gebaseerde agentarchitecturen en hun dialogen te verankeren in persona's en temporele gebeurtenisgrafieken. Bovendien rusten we elke agent uit met de mogelijkheid om afbeeldingen te delen en hierop te reageren. De gegenereerde gesprekken worden gecontroleerd en bewerkt door menselijke annotators voor langeafstandsconsistentie en verankering aan de gebeurtenisgrafieken. Met behulp van deze pijplijn verzamelen we LoCoMo, een dataset van zeer langetermijn gesprekken, elk bestaande uit 300 beurten en gemiddeld 9K tokens, over maximaal 35 sessies. Op basis van LoCoMo presenteren we een uitgebreide evaluatiebenchmark om langetermijngeheugen in modellen te meten, met inbegrip van vraag-antwoordtaken, gebeurtenissamenvattingen en multi-modale dialooggeneratietaken. Onze experimentele resultaten geven aan dat LLMs uitdagingen ondervinden bij het begrijpen van lange gesprekken en het begrijpen van langeafstands temporele en causale dynamieken binnen dialogen. Het gebruik van strategieën zoals lange-context LLMs of RAG kan verbeteringen bieden, maar deze modellen blijven aanzienlijk achter bij menselijke prestaties.

English

Existing works on long-term open-domain dialogues focus on evaluating model responses within contexts spanning no more than five chat sessions. Despite advancements in long-context large language models (LLMs) and retrieval augmented generation (RAG) techniques, their efficacy in very long-term dialogues remains unexplored. To address this research gap, we introduce a machine-human pipeline to generate high-quality, very long-term dialogues by leveraging LLM-based agent architectures and grounding their dialogues on personas and temporal event graphs. Moreover, we equip each agent with the capability of sharing and reacting to images. The generated conversations are verified and edited by human annotators for long-range consistency and grounding to the event graphs. Using this pipeline, we collect LoCoMo, a dataset of very long-term conversations, each encompassing 300 turns and 9K tokens on avg., over up to 35 sessions. Based on LoCoMo, we present a comprehensive evaluation benchmark to measure long-term memory in models, encompassing question answering, event summarization, and multi-modal dialogue generation tasks. Our experimental results indicate that LLMs exhibit challenges in understanding lengthy conversations and comprehending long-range temporal and causal dynamics within dialogues. Employing strategies like long-context LLMs or RAG can offer improvements but these models still substantially lag behind human performance.

Het evalueren van het zeer langetermijnconversatiegeheugen van LLM-agents

Evaluating Very Long-Term Conversational Memory of LLM Agents

Samenvatting

Support