HaluMem: Оценка галлюцинаций в системах памяти агентов

HaluMem: Evaluating Hallucinations in Memory Systems of Agents

November 5, 2025

Авторы: Ding Chen, Simin Niu, Kehang Li, Peng Liu, Xiangping Zheng, Bo Tang, Xinchi Li, Feiyu Xiong, Zhiyu Li

cs.AI

Аннотация

Системы памяти являются ключевыми компонентами, позволяющим системам искусственного интеллекта, таким как большие языковые модели и ИИ-агенты, достигать долгосрочного обучения и устойчивого взаимодействия. Однако в процессе хранения и извлечения воспоминаний эти системы часто демонстрируют галлюцинации памяти, включая фабрикацию, ошибки, конфликты и упущения. Существующие оценки галлюцинаций памяти в основном представляют собой сквозное вопросно-ответное тестирование, что затрудняет локализацию операционного этапа внутри системы памяти, на котором возникают галлюцинации. Для решения этой проблемы мы представляем эталонный тест Hallucination in Memory Benchmark (HaluMem) — первый специализированный для систем памяти эталонный тест оценки галлюцинаций на операционном уровне. HaluMem определяет три оценочных задания (извлечение памяти, обновление памяти и вопросно-ответная работа с памятью) для всестороннего выявления поведения галлюцинаций на различных этапах операционного взаимодействия. Для поддержки оценки мы создали ориентированные на пользователя, многотурновые наборы данных о взаимодействии человека и ИИ: HaluMem-Medium и HaluMem-Long. Оба включают около 15 тысяч точек памяти и 3,5 тысячи вопросов различных типов. Средняя длина диалога на пользователя достигает 1,5 тысячи и 2,6 тысячи ходов при длине контекста, превышающей 1 миллион токенов, что позволяет оценивать галлюцинации на разных масштабах контекста и уровнях сложности задач. Эмпирические исследования на основе HaluMem показывают, что существующие системы памяти склонны генерировать и накапливать галлюцинации на этапах извлечения и обновления, которые впоследствии переносят ошибки на этап вопросно-ответной работы. Будущие исследования должны быть сосредоточены на разработке интерпретируемых и ограниченных механизмов операций с памятью, которые систематически подавляют галлюцинации и повышают надежность памяти.

English

Memory systems are key components that enable AI systems such as LLMs and AI agents to achieve long-term learning and sustained interaction. However, during memory storage and retrieval, these systems frequently exhibit memory hallucinations, including fabrication, errors, conflicts, and omissions. Existing evaluations of memory hallucinations are primarily end-to-end question answering, which makes it difficult to localize the operational stage within the memory system where hallucinations arise. To address this, we introduce the Hallucination in Memory Benchmark (HaluMem), the first operation level hallucination evaluation benchmark tailored to memory systems. HaluMem defines three evaluation tasks (memory extraction, memory updating, and memory question answering) to comprehensively reveal hallucination behaviors across different operational stages of interaction. To support evaluation, we construct user-centric, multi-turn human-AI interaction datasets, HaluMem-Medium and HaluMem-Long. Both include about 15k memory points and 3.5k multi-type questions. The average dialogue length per user reaches 1.5k and 2.6k turns, with context lengths exceeding 1M tokens, enabling evaluation of hallucinations across different context scales and task complexities. Empirical studies based on HaluMem show that existing memory systems tend to generate and accumulate hallucinations during the extraction and updating stages, which subsequently propagate errors to the question answering stage. Future research should focus on developing interpretable and constrained memory operation mechanisms that systematically suppress hallucinations and improve memory reliability.