인공지능 해마: 인간의 기억력에 얼마나 가까워졌을까?

The AI Hippocampus: How Far are We From Human Memory?

January 14, 2026

저자: Zixia Jia, Jiaqi Li, Yipeng Kang, Yuxuan Wang, Tong Wu, Quansen Wang, Xiaobo Wang, Shuyi Zhang, Junzhe Shen, Qing Li, Siyuan Qi, Yitao Liang, Di He, Zilong Zheng, Song-Chun Zhu

cs.AI

초록

메모리는 현대 대규모 언어 모델(LLM) 및 다중 모달 LLM(MLLM)의 추론 능력, 적응성, 맥락 정확도를 향상시키는 기반 역할을 수행한다. 이러한 모델들이 정적 예측 도구에서 지속적 학습과 개인화된 추론이 가능한 상호작용 시스템으로 전환됨에 따라, 메모리 메커니즘의 통합은 그 구조적, 기능적 진화의 핵심 주제로 부상했다. 본 종설은 LLM과 MLLM에서의 메모리를 포괄적이고 체계적으로 종합하여, 암묵적 메모리, 명시적 메모리, 에이전트 메모리 패러다임으로 구성된 일관된 분류 체계로 관련 문헌을 정리한다. 구체적으로, 본 종설은 세 가지 주요 메모리 프레임워크를 delineate한다. 암묵적 메모리는 사전 학습된 트랜스포머의 내부 매개변수에 내재된 지식을 의미하며, 기억 능력, 연상 검색, 맥락적 추론 능력을 포괄한다. 최근 연구는 이 잠재적 메모리를 해석, 조작, 재구성하는 방법을 탐구해 왔다. 명시적 메모리는 텍스트 코퍼스, 밀집 벡터, 그래프 기반 구조와 같은 동적이고 질의 가능한 지식 표현으로 모델 출력을 보강하도록 설계된 외부 저장 및 검색 구성 요소를 포함하며, 이를 통해 정보원과의 확장 가능하고 갱신 가능한 상호작용을 가능하게 한다. 에이전트 메모리는 자율 에이전트 내에 지속적이고 시간적으로 확장된 메모리 구조를 도입하여, 다중 에이전트 시스템에서의 장기 계획, 자기 일관성, 협력 행동을 용이하게 하며, 구현형 및 상호작용형 AI와 관련이 있다. 텍스트를 넘어서, 본 종설은 시각, 언어, 음향, 행동 양식 간의 일관성이 필수적인 다중 모달 환경에서의 메모리 통합을 검토한다. 메모리 용량, 정렬, 사실 일관성, 시스템 간 상호운용성과 관련된 문제들을 포함하여, 주요 구조적 발전, 벤치마크 과제, 그리고 개방형 과제들에 대해 논의한다.

English

Memory plays a foundational role in augmenting the reasoning, adaptability, and contextual fidelity of modern Large Language Models and Multi-Modal LLMs. As these models transition from static predictors to interactive systems capable of continual learning and personalized inference, the incorporation of memory mechanisms has emerged as a central theme in their architectural and functional evolution. This survey presents a comprehensive and structured synthesis of memory in LLMs and MLLMs, organizing the literature into a cohesive taxonomy comprising implicit, explicit, and agentic memory paradigms. Specifically, the survey delineates three primary memory frameworks. Implicit memory refers to the knowledge embedded within the internal parameters of pre-trained transformers, encompassing their capacity for memorization, associative retrieval, and contextual reasoning. Recent work has explored methods to interpret, manipulate, and reconfigure this latent memory. Explicit memory involves external storage and retrieval components designed to augment model outputs with dynamic, queryable knowledge representations, such as textual corpora, dense vectors, and graph-based structures, thereby enabling scalable and updatable interaction with information sources. Agentic memory introduces persistent, temporally extended memory structures within autonomous agents, facilitating long-term planning, self-consistency, and collaborative behavior in multi-agent systems, with relevance to embodied and interactive AI. Extending beyond text, the survey examines the integration of memory within multi-modal settings, where coherence across vision, language, audio, and action modalities is essential. Key architectural advances, benchmark tasks, and open challenges are discussed, including issues related to memory capacity, alignment, factual consistency, and cross-system interoperability.