HaluMem: Het evalueren van hallucinaties in geheugensystemen van agents

HaluMem: Evaluating Hallucinations in Memory Systems of Agents

November 5, 2025

Auteurs: Ding Chen, Simin Niu, Kehang Li, Peng Liu, Xiangping Zheng, Bo Tang, Xinchi Li, Feiyu Xiong, Zhiyu Li

cs.AI

Samenvatting

Geheugensystemen zijn essentiële componenten die AI-systemen zoals LLM's en AI-agenten in staat stellen tot langetermijnleren en aanhoudende interactie. Tijdens de opslag en het ophalen van geheugens vertonen deze systemen echter vaak geheugenhallucinaties, waaronder verzinsels, fouten, tegenstrijdigheden en weglatingen. Bestaande evaluaties van geheugenhallucinaties zijn voornamelijk end-to-end vraag-antwoordtests, waardoor het moeilijk is om de operationele fase binnen het geheugensysteem te lokaliseren waar hallucinaties ontstaan. Om dit aan te pakken, introduceren we de Hallucinatie in Geheugen Benchmark (HaluMem), de eerste hallucinatie-evaluatiebenchmark op operationeel niveau die is afgestemd op geheugensystemen. HaluMem definieert drie evaluatietaken (geheugenextractie, geheugenbijwerking en geheugenvraag-antwoord) om hallucinatiegedrag in verschillende operationele fasen van interactie uitgebreid in kaart te brengen. Ter ondersteuning van de evaluatie construeren we gebruikersgerichte, multi-turn mens-AI-interactiedatasets: HaluMem-Medium en HaluMem-Long. Beide bevatten ongeveer 15.000 geheugenpunten en 3.500 vragen van meerdere typen. De gemiddelde dialooglengte per gebruiker bedraagt respectievelijk 1.500 en 2.600 beurten, met contextlengtes van meer dan 1 miljoen tokens, waardoor evaluatie van hallucinaties over verschillende contextschalen en taakcomplexiteiten mogelijk wordt. Empirische studies op basis van HaluMem tonen aan dat bestaande geheugensystemen de neiging hebben hallucinaties te genereren en op te stapelen tijdens de extractie- en bijwerkfasen, die vervolgens fouten doorgeven aan de vraag-antwoordfase. Toekomstig onderzoek moet zich richten op het ontwikkelen van interpreteerbare en gekaderde geheugenoperatiemechanismen die hallucinaties systematisch onderdrukken en de geheugenbetrouwbaarheid verbeteren.

English

Memory systems are key components that enable AI systems such as LLMs and AI agents to achieve long-term learning and sustained interaction. However, during memory storage and retrieval, these systems frequently exhibit memory hallucinations, including fabrication, errors, conflicts, and omissions. Existing evaluations of memory hallucinations are primarily end-to-end question answering, which makes it difficult to localize the operational stage within the memory system where hallucinations arise. To address this, we introduce the Hallucination in Memory Benchmark (HaluMem), the first operation level hallucination evaluation benchmark tailored to memory systems. HaluMem defines three evaluation tasks (memory extraction, memory updating, and memory question answering) to comprehensively reveal hallucination behaviors across different operational stages of interaction. To support evaluation, we construct user-centric, multi-turn human-AI interaction datasets, HaluMem-Medium and HaluMem-Long. Both include about 15k memory points and 3.5k multi-type questions. The average dialogue length per user reaches 1.5k and 2.6k turns, with context lengths exceeding 1M tokens, enabling evaluation of hallucinations across different context scales and task complexities. Empirical studies based on HaluMem show that existing memory systems tend to generate and accumulate hallucinations during the extraction and updating stages, which subsequently propagate errors to the question answering stage. Future research should focus on developing interpretable and constrained memory operation mechanisms that systematically suppress hallucinations and improve memory reliability.