ステートオフセットチューニング：ステートスペースモデルのためのステートベースのパラメータ効率的なファインチューニング

State-offset Tuning: State-based Parameter-Efficient Fine-Tuning for State Space Models

March 5, 2025

著者: Wonjun Kang, Kevin Galim, Yuchen Zeng, Minjae Lee, Hyung Il Koo, Nam Ik Cho

cs.AI

要旨

状態空間モデル（SSM）は、Transformerの二次的な計算コストを軽減する効率的な代替手段として登場しました。しかし、パラメータ効率型ファインチューニング（PEFT）手法のSSMへの適用は、ほとんど検討されていません。特に、Transformerで広く使用されているプロンプトベースの手法（Prompt TuningやPrefix-Tuningなど）は、SSMではうまく機能しません。この問題に対処するため、我々はプロンプトベースの手法に代わる優れた代替手段として、状態ベースの手法を提案します。この新しい手法のファミリーは、SSMのアーキテクチャ特性から自然に導き出されます。状態ベースの手法は、外部のプロンプトに依存するのではなく、状態に関連する特徴を直接調整します。さらに、我々は新しい状態ベースのPEFT手法である「State-offset Tuning」を導入します。この手法は、各タイムステップにおいて現在のステップの状態に直接影響を与えることで、より効果的な適応を実現します。多様なデータセットを用いた広範な実験を通じて、本手法の有効性を実証します。コードはhttps://github.com/furiosa-ai/ssm-state-tuningで公開されています。

English

State Space Models (SSMs) have emerged as efficient alternatives to Transformers, mitigating their quadratic computational cost. However, the application of Parameter-Efficient Fine-Tuning (PEFT) methods to SSMs remains largely unexplored. In particular, prompt-based methods like Prompt Tuning and Prefix-Tuning, which are widely used in Transformers, do not perform well on SSMs. To address this, we propose state-based methods as a superior alternative to prompt-based methods. This new family of methods naturally stems from the architectural characteristics of SSMs. State-based methods adjust state-related features directly instead of depending on external prompts. Furthermore, we introduce a novel state-based PEFT method: State-offset Tuning. At every timestep, our method directly affects the state at the current step, leading to more effective adaptation. Through extensive experiments across diverse datasets, we demonstrate the effectiveness of our method. Code is available at https://github.com/furiosa-ai/ssm-state-tuning.