상태 오프셋 튜닝: 상태 공간 모델을 위한 상태 기반 파라미터 효율적 미세 조정

State-offset Tuning: State-based Parameter-Efficient Fine-Tuning for State Space Models

March 5, 2025

저자: Wonjun Kang, Kevin Galim, Yuchen Zeng, Minjae Lee, Hyung Il Koo, Nam Ik Cho

cs.AI

초록

상태 공간 모델(State Space Models, SSMs)은 트랜스포머(Transformers)의 2차 계산 비용을 완화하는 효율적인 대안으로 부상했습니다. 그러나 SSM에 대한 매개변수 효율 미세 조정(Parameter-Efficient Fine-Tuning, PEFT) 방법의 적용은 아직까지 거의 탐구되지 않았습니다. 특히, 트랜스포머에서 널리 사용되는 프롬프트 기반 방법(Prompt Tuning 및 Prefix-Tuning 등)은 SSM에서 잘 작동하지 않습니다. 이를 해결하기 위해, 우리는 프롬프트 기반 방법보다 우수한 대안으로 상태 기반 방법을 제안합니다. 이 새로운 방법군은 SSM의 아키텍처적 특성에서 자연스럽게 도출됩니다. 상태 기반 방법은 외부 프롬프트에 의존하는 대신 상태 관련 기능을 직접 조정합니다. 더 나아가, 우리는 새로운 상태 기반 PEFT 방법인 상태 오프셋 튜닝(State-offset Tuning)을 소개합니다. 이 방법은 매 시간 단계에서 현재 단계의 상태에 직접 영향을 미쳐 더 효과적인 적응을 이끌어냅니다. 다양한 데이터셋을 대상으로 한 광범위한 실험을 통해 우리는 이 방법의 효과를 입증합니다. 코드는 https://github.com/furiosa-ai/ssm-state-tuning에서 확인할 수 있습니다.

English

State Space Models (SSMs) have emerged as efficient alternatives to Transformers, mitigating their quadratic computational cost. However, the application of Parameter-Efficient Fine-Tuning (PEFT) methods to SSMs remains largely unexplored. In particular, prompt-based methods like Prompt Tuning and Prefix-Tuning, which are widely used in Transformers, do not perform well on SSMs. To address this, we propose state-based methods as a superior alternative to prompt-based methods. This new family of methods naturally stems from the architectural characteristics of SSMs. State-based methods adjust state-related features directly instead of depending on external prompts. Furthermore, we introduce a novel state-based PEFT method: State-offset Tuning. At every timestep, our method directly affects the state at the current step, leading to more effective adaptation. Through extensive experiments across diverse datasets, we demonstrate the effectiveness of our method. Code is available at https://github.com/furiosa-ai/ssm-state-tuning.