HaluMem: Avaliação de Alucinações em Sistemas de Memória de Agentes

HaluMem: Evaluating Hallucinations in Memory Systems of Agents

November 5, 2025

Autores: Ding Chen, Simin Niu, Kehang Li, Peng Liu, Xiangping Zheng, Bo Tang, Xinchi Li, Feiyu Xiong, Zhiyu Li

cs.AI

Resumo

Os sistemas de memória são componentes fundamentais que permitem que sistemas de IA, como LLMs e agentes de IA, alcancem aprendizado de longo prazo e interação sustentada. No entanto, durante o armazenamento e recuperação de memória, esses sistemas frequentemente exibem alucinações de memória, incluindo fabricação, erros, conflitos e omissões. As avaliações existentes de alucinações de memória são principalmente de questionamento e resposta de ponta a ponta, o que dificulta a localização do estágio operacional dentro do sistema de memória onde as alucinações surgem. Para resolver isso, apresentamos o *Hallucination in Memory Benchmark* (HaluMem), o primeiro benchmark de avaliação de alucinações em nível operacional adaptado a sistemas de memória. O HaluMem define três tarefas de avaliação (extração de memória, atualização de memória e questionamento e resposta baseado em memória) para revelar abrangentemente os comportamentos de alucinação em diferentes estágios operacionais da interação. Para suportar a avaliação, construímos conjuntos de dados de interação humano-IA multicentrada e centrada no usuário, HaluMem-Medium e HaluMem-Long. Ambos incluem cerca de 15k pontos de memória e 3,5k perguntas de múltiplos tipos. O comprimento médio do diálogo por usuário atinge 1,5k e 2,6k turnos, com comprimentos de contexto excedendo 1 milhão de tokens, permitindo a avaliação de alucinações em diferentes escalas de contexto e complexidades de tarefa. Estudos empíricos baseados no HaluMem mostram que os sistemas de memória existentes tendem a gerar e acumular alucinações durante os estágios de extração e atualização, que subsequentemente propagam erros para o estágio de questionamento e resposta. Pesquisas futuras devem focar no desenvolvimento de mecanismos de operação de memória interpretáveis e restritos que suprimam sistematicamente as alucinações e melhorem a confiabilidade da memória.

English

Memory systems are key components that enable AI systems such as LLMs and AI agents to achieve long-term learning and sustained interaction. However, during memory storage and retrieval, these systems frequently exhibit memory hallucinations, including fabrication, errors, conflicts, and omissions. Existing evaluations of memory hallucinations are primarily end-to-end question answering, which makes it difficult to localize the operational stage within the memory system where hallucinations arise. To address this, we introduce the Hallucination in Memory Benchmark (HaluMem), the first operation level hallucination evaluation benchmark tailored to memory systems. HaluMem defines three evaluation tasks (memory extraction, memory updating, and memory question answering) to comprehensively reveal hallucination behaviors across different operational stages of interaction. To support evaluation, we construct user-centric, multi-turn human-AI interaction datasets, HaluMem-Medium and HaluMem-Long. Both include about 15k memory points and 3.5k multi-type questions. The average dialogue length per user reaches 1.5k and 2.6k turns, with context lengths exceeding 1M tokens, enabling evaluation of hallucinations across different context scales and task complexities. Empirical studies based on HaluMem show that existing memory systems tend to generate and accumulate hallucinations during the extraction and updating stages, which subsequently propagate errors to the question answering stage. Future research should focus on developing interpretable and constrained memory operation mechanisms that systematically suppress hallucinations and improve memory reliability.