대규모 언어 모델을 위한 메모리

초록

메모리는 대규모 언어 모델(LLM)에서 근본적인 아키텍처 차원으로 진화해 왔으며, 암묵적인 연산의 부산물에서 명시적이고 제어 가능한 다양한 메커니즘으로 전환되었습니다. 최근의 발전은 일시적 주의, 순환 상태 역학, 매개변수 효율적 적응, 확장 가능한 검색 저장소에 이르는 다양한 전략을 도입했지만, 이러한 급속한 진화는 연구 환경을 매우 파편화시켰습니다. 본 설문조사에서는 LLM의 메모리에 대한 체계적이고 아키텍처 중심의 분류 체계를 제시합니다. 우리의 프레임워크는 메모리를 표현(암묵적 대 명시적), 업데이트 역학(오프라인 대 온라인), 지속성(단기 대 장기)이라는 세 가지 직교 축을 따라 특성화합니다. 또한 메모리 쓰기, 라우팅, 상태 전환, 통합을 규정하는 세부 메커니즘을 공식화합니다. 이러한 통합된 관점은 연산 결합 메모리와 독립적으로 주소 지정 가능한 메모리 간의 개념적 경계를 명확히 하여 서로 다른 아키텍처 패러다임을 효과적으로 연결합니다. 또한 하이브리드 메모리 아키텍처, 시스템 수준 효율성 트레이드오프, 다차원 평가 방법론을 비판적으로 분석합니다. 이러한 분산된 발전을 일관된 프레임워크로 통합함으로써, 본 설문조사는 메모리 중심 LLM 설계의 궤적을 제시하고 확장 가능하고 적응형 언어 모델링의 미래 혁신을 위한 원칙적인 토대를 제공합니다.

English

Memory has evolved into a foundational architectural dimension in large language models (LLMs), shifting from an implicit byproduct of computation to a spectrum of explicit, controllable mechanisms. While recent advances introduce diverse strategies---spanning transient attention, recurrent state dynamics, parameter-efficient adaptations, and scalable lookup storage---this rapid evolution has led to a highly fragmented research landscape. In this survey, we present a systematic, architecture-centric taxonomy of memory in LLMs. Our framework characterizes memory along three orthogonal axes: representation (implicit versus explicit), update dynamics (offline versus online), and persistence (short-term versus long-term). We further formalize the granular mechanisms dictating memory writing, routing, state transitions, and consolidation. This unified perspective elucidates the conceptual boundaries between computation-coupled and independently addressable memory, effectively bridging disparate architectural paradigms. Additionally, we critically analyze hybrid memory architectures, system-level efficiency trade-offs, and multi-dimensional evaluation methodologies. By consolidating these scattered advancements into a cohesive framework, this survey charts the trajectory of memory-centric LLM design and provides a principled foundation for future innovations in scalable and adaptive language modeling.