NeuPAT: 언어 보존 MLLM을 위한 뉴런 인식 가소성 할당 튜닝

초록

대규모 언어 모델(LLM)의 다중 모달 확장은 새로운 지각 능력을 가능하게 하지만, 사전 학습 중에 획득한 언어 지능을 종종 저하시킵니다. 본 연구에서는 내부 적응 역학의 관점에서 이러한 현상을 조사하고, 사전 학습된 LLM의 뉴런이 다중 모달 학습 중에 이질적인 가소성을 보인다는 것을 발견했습니다. 즉, 일부 뉴런은 언어 능력을 유지하는 데 중요하고, 다른 뉴런은 다중 모달 지식에 더 적응적입니다. 이러한 통찰을 바탕으로, 우리는 뉴런 수준의 업데이트 제약을 다중 모달 지시 튜닝 중에 할당하는 경량화되고 아키텍처에 구애받지 않는 프레임워크인 NeuPAT(Neuron-aware Plasticity Allocation Tuning)를 제안합니다. NeuPAT는 소규모 프로빙 단계를 사용하여 뉴런 적응 패턴을 추정하고, 언어에 민감한 뉴런을 선택적으로 보호하면서 더 가소성이 높은 뉴런을 통해 다중 모달 적응을 촉진합니다. 다양한 LLM 계열에 걸친 실험은 NeuPAT가 11개 언어 벤치마크에서 기본 튜닝으로 인한 언어 능력 저하의 94.5%를 회복하고, 유사한 다중 모달 성능을 유지하여, 능력 보존형 다중 모달 확장을 위한 효과적인 접근법을 제공함을 보여줍니다.

English

Multimodal expansion of large language models (LLMs) enables new perceptual capabilities but often compromises the language intelligence acquired during pretraining. In this work, we investigate this phenomenon from the perspective of internal adaptation dynamics and discover that neurons in pretrained LLMs exhibit heterogeneous plasticity during multimodal learning: some neurons are critical for preserving language capabilities, while others are more adaptive to multimodal knowledge. Based on this insight, we propose NeuPAT (Neuron-aware Plasticity Allocation Tuning), a lightweight and architecture-agnostic framework that allocates neuron-wise update constraints during multimodal instruction tuning. NeuPAT uses a small-scale probing stage to estimate neuron adaptation patterns and selectively protects language-sensitive neurons while promoting multimodal adaptation through more plastic neurons. Experiments across diverse LLM families demonstrate that NeuPAT recovers 94.5\% of the language capability degradation caused by vanilla tuning on 11 language benchmarks while maintaining comparable multimodal performance, providing an effective approach for capability-preserving multimodal expansion.