HaluMem: Valutazione delle Allucinazioni nei Sistemi di Memoria degli Agenti

Abstract

I sistemi di memoria sono componenti chiave che consentono ai sistemi di intelligenza artificiale, come i LLM e gli agenti IA, di raggiungere un apprendimento a lungo termine e un'interazione prolungata. Tuttavia, durante l'archiviazione e il recupero della memoria, questi sistemi mostrano frequentemente allucinazioni mnemoniche, inclusa fabbricazione, errori, conflitti e omissioni. Le valutazioni esistenti delle allucinazioni mnemoniche sono principalmente basate su question answering end-to-end, il che rende difficile localizzare la fase operativa all'interno del sistema di memoria in cui le allucinazioni si originano. Per affrontare questo problema, introduciamo l'Hallucination in Memory Benchmark (HaluMem), il primo benchmark di valutazione delle allucinazioni a livello operativo specificamente progettato per i sistemi di memoria. HaluMem definisce tre task di valutazione (estrazione della memoria, aggiornamento della memoria e question answering sulla memoria) per rivelare in modo completo i comportamenti allucinatori attraverso le diverse fasi operative dell'interazione. Per supportare la valutazione, abbiamo costruito dataset di interazione multi-turno uomo-IA incentrati sull'utente, HaluMem-Medium e HaluMem-Long. Entrambi includono circa 15k punti di memoria e 3.5k domande di tipo multiplo. La lunghezza media del dialogo per utente raggiunge rispettivamente 1.5k e 2.6k turni, con lunghezze del contesto che superano 1M di token, consentendo la valutazione delle allucinazioni su diverse scale di contesto e complessità dei task. Studi empirici basati su HaluMem mostrano che i sistemi di memoria esistenti tendono a generare e accumulare allucinazioni durante le fasi di estrazione e aggiornamento, che successivamente propagano errori alla fase di question answering. La ricerca futura dovrebbe concentrarsi sullo sviluppo di meccanismi di operazione della memoria interpretabili e vincolati che sopprimano sistematicamente le allucinazioni e migliorino l'affidabilità della memoria.

English

Memory systems are key components that enable AI systems such as LLMs and AI agents to achieve long-term learning and sustained interaction. However, during memory storage and retrieval, these systems frequently exhibit memory hallucinations, including fabrication, errors, conflicts, and omissions. Existing evaluations of memory hallucinations are primarily end-to-end question answering, which makes it difficult to localize the operational stage within the memory system where hallucinations arise. To address this, we introduce the Hallucination in Memory Benchmark (HaluMem), the first operation level hallucination evaluation benchmark tailored to memory systems. HaluMem defines three evaluation tasks (memory extraction, memory updating, and memory question answering) to comprehensively reveal hallucination behaviors across different operational stages of interaction. To support evaluation, we construct user-centric, multi-turn human-AI interaction datasets, HaluMem-Medium and HaluMem-Long. Both include about 15k memory points and 3.5k multi-type questions. The average dialogue length per user reaches 1.5k and 2.6k turns, with context lengths exceeding 1M tokens, enabling evaluation of hallucinations across different context scales and task complexities. Empirical studies based on HaluMem show that existing memory systems tend to generate and accumulate hallucinations during the extraction and updating stages, which subsequently propagate errors to the question answering stage. Future research should focus on developing interpretable and constrained memory operation mechanisms that systematically suppress hallucinations and improve memory reliability.

HaluMem: Valutazione delle Allucinazioni nei Sistemi di Memoria degli Agenti

HaluMem: Evaluating Hallucinations in Memory Systems of Agents

Abstract

Support