NeuPAT: 言語保持型MLLMのためのニューロン認識可塑性配分チューニング

要旨

大規模言語モデル（LLM）のマルチモーダル拡張は新たな知覚能力を可能にする一方で、事前学習中に獲得された言語知能を損なうことがしばしばある。本研究では、この現象を内部適応ダイナミクスの観点から調査し、事前学習済みLLM内のニューロンがマルチモーダル学習中に不均一な可塑性を示すことを発見した。すなわち、一部のニューロンは言語能力の維持に重要である一方、他のニューロンはマルチモーダル知識に対してより適応的である。この知見に基づき、我々はNeuPAT（Neuron-aware Plasticity Allocation Tuning：ニューロン認識型可塑性配分チューニング）を提案する。これは、マルチモーダル指示チューニング中にニューロン単位の更新制約を配分する、軽量かつアーキテクチャ非依存のフレームワークである。NeuPATは小規模なプロービング段階を用いてニューロンの適応パターンを推定し、言語に敏感なニューロンを選択的に保護しながら、より可塑性の高いニューロンを介してマルチモーダル適応を促進する。多様なLLMファミリーにわたる実験により、NeuPATは11の言語ベンチマークにおいて、標準的なチューニングによる言語能力の劣化の94.5%を回復しつつ、同等のマルチモーダル性能を維持することを実証した。これは、能力保持型マルチモーダル拡張のための効果的なアプローチを提供するものである。

English

Multimodal expansion of large language models (LLMs) enables new perceptual capabilities but often compromises the language intelligence acquired during pretraining. In this work, we investigate this phenomenon from the perspective of internal adaptation dynamics and discover that neurons in pretrained LLMs exhibit heterogeneous plasticity during multimodal learning: some neurons are critical for preserving language capabilities, while others are more adaptive to multimodal knowledge. Based on this insight, we propose NeuPAT (Neuron-aware Plasticity Allocation Tuning), a lightweight and architecture-agnostic framework that allocates neuron-wise update constraints during multimodal instruction tuning. NeuPAT uses a small-scale probing stage to estimate neuron adaptation patterns and selectively protects language-sensitive neurons while promoting multimodal adaptation through more plastic neurons. Experiments across diverse LLM families demonstrate that NeuPAT recovers 94.5\% of the language capability degradation caused by vanilla tuning on 11 language benchmarks while maintaining comparable multimodal performance, providing an effective approach for capability-preserving multimodal expansion.