Évaluation de la mémoire conversationnelle à très long terme des agents LLM

Résumé

Les travaux existants sur les dialogues ouverts à long terme se concentrent sur l'évaluation des réponses des modèles dans des contextes ne dépassant pas cinq sessions de discussion. Malgré les avancées des modèles de langage à grand contexte (LLMs) et des techniques de génération augmentée par récupération (RAG), leur efficacité dans les dialogues très longs reste inexplorée. Pour combler cette lacune, nous introduisons un pipeline machine-humain pour générer des dialogues de très haute qualité et à très long terme en exploitant des architectures d'agents basées sur des LLMs et en ancrant leurs dialogues sur des personas et des graphes d'événements temporels. De plus, nous dotons chaque agent de la capacité de partager et de réagir à des images. Les conversations générées sont vérifiées et éditées par des annotateurs humains pour assurer une cohérence à long terme et un ancrage aux graphes d'événements. En utilisant ce pipeline, nous collectons LoCoMo, un ensemble de données de conversations très longues, chacune comprenant en moyenne 300 tours et 9K tokens, sur jusqu'à 35 sessions. Sur la base de LoCoMo, nous présentons un benchmark d'évaluation complet pour mesurer la mémoire à long terme des modèles, englobant des tâches de réponse à des questions, de résumé d'événements et de génération de dialogues multi-modaux. Nos résultats expérimentaux indiquent que les LLMs rencontrent des difficultés à comprendre les conversations longues et à saisir les dynamiques temporelles et causales à long terme dans les dialogues. L'utilisation de stratégies comme les LLMs à grand contexte ou la RAG peut apporter des améliorations, mais ces modèles restent encore loin derrière les performances humaines.

English

Existing works on long-term open-domain dialogues focus on evaluating model responses within contexts spanning no more than five chat sessions. Despite advancements in long-context large language models (LLMs) and retrieval augmented generation (RAG) techniques, their efficacy in very long-term dialogues remains unexplored. To address this research gap, we introduce a machine-human pipeline to generate high-quality, very long-term dialogues by leveraging LLM-based agent architectures and grounding their dialogues on personas and temporal event graphs. Moreover, we equip each agent with the capability of sharing and reacting to images. The generated conversations are verified and edited by human annotators for long-range consistency and grounding to the event graphs. Using this pipeline, we collect LoCoMo, a dataset of very long-term conversations, each encompassing 300 turns and 9K tokens on avg., over up to 35 sessions. Based on LoCoMo, we present a comprehensive evaluation benchmark to measure long-term memory in models, encompassing question answering, event summarization, and multi-modal dialogue generation tasks. Our experimental results indicate that LLMs exhibit challenges in understanding lengthy conversations and comprehending long-range temporal and causal dynamics within dialogues. Employing strategies like long-context LLMs or RAG can offer improvements but these models still substantially lag behind human performance.

Évaluation de la mémoire conversationnelle à très long terme des agents LLM

Evaluating Very Long-Term Conversational Memory of LLM Agents

Résumé

Support