HaluMem : Évaluation des hallucinations dans les systèmes de mémoire des agents

papers.abstract

Les systèmes de mémoire sont des composants clés qui permettent aux systèmes d'IA tels que les LLM et les agents IA d'atteindre un apprentissage à long terme et une interaction soutenue. Cependant, lors du stockage et de la récupération des souvenirs, ces systèmes présentent fréquemment des hallucinations mnésiques, incluant des fabrications, des erreurs, des conflits et des omissions. Les évaluations existantes des hallucinations mnésiques sont principalement des tests de question-réponse de bout en bout, ce qui rend difficile la localisation de l'étape opérationnelle au sein du système de mémoire où les hallucinations surviennent. Pour remédier à cela, nous présentons le benchmark d'évaluation des hallucinations en mémoire (HaluMem), premier benchmark d'évaluation des hallucinations au niveau opérationnel spécifiquement conçu pour les systèmes de mémoire. HaluMem définit trois tâches d'évaluation (extraction de mémoire, mise à jour de mémoire et question-réponse sur la mémoire) pour révéler complètement les comportements hallucinatoires à travers les différentes étapes opérationnelles de l'interaction. Pour soutenir l'évaluation, nous avons construit des jeux de données d'interaction humain-IA multi-tours centrés sur l'utilisateur, HaluMem-Medium et HaluMem-Long. Les deux incluent environ 15k points de mémoire et 3,5k questions de types multiples. La longueur moyenne de dialogue par utilisateur atteint respectivement 1,5k et 2,6k tours, avec des longueurs de contexte dépassant 1 million de tokens, permettant d'évaluer les hallucinations à travers différentes échelles de contexte et complexités de tâches. Les études empiriques basées sur HaluMem montrent que les systèmes de mémoire existants tendent à générer et accumuler des hallucinations durant les étapes d'extraction et de mise à jour, qui propagent ensuite les erreurs à l'étape de question-réponse. Les recherches futures devraient se concentrer sur le développement de mécanismes d'opération mémoire interprétables et contraints qui suppriment systématiquement les hallucinations et améliorent la fiabilité de la mémoire.

English

Memory systems are key components that enable AI systems such as LLMs and AI agents to achieve long-term learning and sustained interaction. However, during memory storage and retrieval, these systems frequently exhibit memory hallucinations, including fabrication, errors, conflicts, and omissions. Existing evaluations of memory hallucinations are primarily end-to-end question answering, which makes it difficult to localize the operational stage within the memory system where hallucinations arise. To address this, we introduce the Hallucination in Memory Benchmark (HaluMem), the first operation level hallucination evaluation benchmark tailored to memory systems. HaluMem defines three evaluation tasks (memory extraction, memory updating, and memory question answering) to comprehensively reveal hallucination behaviors across different operational stages of interaction. To support evaluation, we construct user-centric, multi-turn human-AI interaction datasets, HaluMem-Medium and HaluMem-Long. Both include about 15k memory points and 3.5k multi-type questions. The average dialogue length per user reaches 1.5k and 2.6k turns, with context lengths exceeding 1M tokens, enabling evaluation of hallucinations across different context scales and task complexities. Empirical studies based on HaluMem show that existing memory systems tend to generate and accumulate hallucinations during the extraction and updating stages, which subsequently propagate errors to the question answering stage. Future research should focus on developing interpretable and constrained memory operation mechanisms that systematically suppress hallucinations and improve memory reliability.

HaluMem : Évaluation des hallucinations dans les systèmes de mémoire des agents

HaluMem: Evaluating Hallucinations in Memory Systems of Agents

papers.abstract

Support