LoRA는 어떻게 기억하는가? LLM 미세조정을 위한 파라미터 기억 법칙

초록

대규모 언어 모델(LLM)은 역동적인 실제 환경에서 효과적으로 작동하기 위해 지속적으로 학습하고 지식을 업데이트해야 한다. LoRA(Low-Rank Adaptation)는 이러한 메모리 업데이트에 널리 사용되지만, 기존 연구는 주로 정성적 다운스트림 평가에 의존하여 정확한 파라메트릭 메모리의 정량적 용량 한계와 기본 동역학을 거의 탐구하지 못했다. 이러한 격차를 해소하기 위해, 우리는 LoRA를 잠재 공간 내 제어된 메모리 용량 프로브로 활용하여 정확한 파라메트릭 메모리를 체계적으로 정량화한다. 우리는 손실 감소 ΔL을 유효 파라미터 및 시퀀스 길이와 연결하는 강력한 멱법칙인 파라메트릭 메모리 법칙을 소개한다. 토큰 수준의 세분화된 분석은 결정론적 상전이를 드러내며, 예측 확률 p > 0.5가 greedy 디코딩 하에서 문자 그대로의 재현을 위한 충분 조건임을 보여준다. 이러한 통찰력을 바탕으로, 우리는 훈련 예산을 하위 임계값 토큰에 동적으로 재분배하는 임계값 기반 최적화 전략인 MemFT를 도입한다. 실증 평가는 MemFT가 메모리 충실도와 효율성을 향상시킬 수 있음을 보여준다. 코드는 https://github.com/zjunlp/ParametricMemoryLaw 에서 공개될 예정이다.

English

Large Language Models (LLMs) must continuously learn and update knowledge to remain effective in dynamic real-world environments. While Low-Rank Adaptation (LoRA) is widely used for such memory updates, existing studies mainly rely on qualitative downstream evaluations, leaving the quantitative capacity limits and underlying dynamics of exact parametric memory largely unexplored. To bridge this gap, we employ LoRA as a controlled memory capacity probe within the latent space to systematically quantify exact parametric memory. We introduce the Parametric Memory Law, a robust power law linking loss reduction Delta L to effective parameters and sequence length. At the token level, fine-grained analysis reveals a deterministic phase transition, demonstrating that a prediction probability of p > 0.5 constitutes a sufficient condition for verbatim recall under greedy decoding. Driven by these insights, we introduce MemFT, a threshold-guided optimization strategy that dynamically redistributes the training budget toward sub-threshold tokens. Empirical evaluations demonstrate that MemFT can enhance memory fidelity and efficiency. Code will be released at https://github.com/zjunlp/ParametricMemoryLaw.