SPARC: LLMにおける領域感知型プロンプト適応による堅牢な継続学習

SPARC: Subspace-Aware Prompt Adaptation for Robust Continual Learning in LLMs

February 5, 2025

著者: Dinithi Jayasuriya, Sina Tayebati, Davide Ettori, Ranganath Krishnan, Amit Ranjan Trivedi

cs.AI

要旨

大規模言語モデル（LLM）向けの軽量な継続学習フレームワークであるSPARCを提案します。このフレームワークは、主成分分析（PCA）を活用して、トレーニングデータのコンパクトな部分空間を特定します。この低次元空間でプロンプトを最適化することで、トレーニング効率が向上し、最も関連性の高い特徴に焦点を当てつつ、計算オーバーヘッドを削減します。さらに、モデルの内部構造が変更されないため、事前トレーニングで獲得した豊富な知識が完全に保持され、適応中に以前に学習した情報が損なわれることはありません。我々の手法は、タスク増分およびドメイン増分の継続学習セットアップの両方で高い知識保持を実現し、モデルのパラメータのわずか0.04％のみを微調整します。さらに、LoRAを統合することで、計算上の制約に適応性を高め、精度とトレーニングコストのトレードオフを可能にします。SuperGLUEベンチマークでの実験では、PCAベースのプロンプトチューニングとLoRAを組み合わせることで、モデルのパラメータのわずか1％を利用しつつ、完全な知識保持を維持し、精度を向上させることが示されました。これらの結果は、LLMにおける継続学習のためのスケーラブルでリソース効率の良いソリューションとして、当社のアプローチを確立しています。

English

We propose SPARC, a lightweight continual learning framework for large language models (LLMs) that enables efficient task adaptation through prompt tuning in a lower-dimensional space. By leveraging principal component analysis (PCA), we identify a compact subspace of the training data. Optimizing prompts in this lower-dimensional space enhances training efficiency, as it focuses updates on the most relevant features while reducing computational overhead. Furthermore, since the model's internal structure remains unaltered, the extensive knowledge gained from pretraining is fully preserved, ensuring that previously learned information is not compromised during adaptation. Our method achieves high knowledge retention in both task-incremental and domain-incremental continual learning setups while fine-tuning only 0.04% of the model's parameters. Additionally, by integrating LoRA, we enhance adaptability to computational constraints, allowing for a tradeoff between accuracy and training cost. Experiments on the SuperGLUE benchmark demonstrate that our PCA-based prompt tuning combined with LoRA maintains full knowledge retention while improving accuracy, utilizing only 1% of the model's parameters. These results establish our approach as a scalable and resource-efficient solution for continual learning in LLMs.