스텝-온-피트 튜닝: 부트스트래핑을 통한 대형 언어 모델의 자기 정렬 확장

초록

자기 정렬(Self-alignment)은 인간 주석의 비용을 줄이면서도 모델의 성능을 유망하게 보장하는 효과적인 방법입니다. 그러나 현재 대부분의 방법은 데이터 수집과 학습 단계를 단일 라운드로 완료하는데, 이는 자기 정렬 모델의 지속적으로 향상되는 능력을 간과할 수 있습니다. 이로 인해 중요한 질문이 제기됩니다: 만약 우리가 다중 부트스트래핑 자기 정렬을 수행한다면 어떻게 될까요? 이 전략은 모델 성능을 향상시키거나 급격한 성능 저하를 초래할까요? 본 논문에서는 대규모 언어 모델에 대한 부트스트래핑 자기 정렬의 영향을 선구적으로 탐구합니다. 우리의 연구 결과는 부트스트래핑 자기 정렬이 컨텍스트 내 학습(In-context learning)을 통해 데이터 다양성을 보장함으로써 단일 라운드 접근법을 현저히 능가한다는 것을 보여줍니다. 부트스트래핑의 잠재력을 더욱 활용하기 위해, 우리는 데이터의 학습 순서를 조사하고 조정하여 모델의 성능을 개선했습니다. 이러한 발견을 바탕으로, 우리는 모델의 지속적으로 향상된 소수 샷(Few-shot) 능력을 활용하여 제로 샷(Zero-shot) 또는 원 샷(One-shot) 성능을 향상시키는 Step-On-Feet Tuning(SOFT)을 제안합니다. 또한, 쉬운 것에서 어려운 것으로의 학습 레시피(Easy-to-hard training recipe)를 기반으로 SOFT+를 제안하여 자기 정렬의 성능을 더욱 향상시킵니다. 우리의 실험은 다양한 분류 및 생성 작업에서 SOFT(SOFT+)의 효율성을 입증하며, 지속적으로 모델 정렬 성능을 향상시키는 부트스트래핑 자기 정렬의 잠재력을 강조합니다.

English

Self-alignment is an effective way to reduce the cost of human annotation while ensuring promising model capability. However, most current methods complete the data collection and training steps in a single round, which may overlook the continuously improving ability of self-aligned models. This gives rise to a key query: What if we do multi-time bootstrapping self-alignment? Does this strategy enhance model performance or lead to rapid degradation? In this paper, our pioneering exploration delves into the impact of bootstrapping self-alignment on large language models. Our findings reveal that bootstrapping self-alignment markedly surpasses the single-round approach, by guaranteeing data diversity from in-context learning. To further exploit the capabilities of bootstrapping, we investigate and adjust the training order of data, which yields improved performance of the model. Drawing on these findings, we propose Step-On-Feet Tuning (SOFT) which leverages model's continuously enhanced few-shot ability to boost zero or one-shot performance. Based on easy-to-hard training recipe, we propose SOFT+ which further boost self-alignment's performance. Our experiments demonstrate the efficiency of SOFT (SOFT+) across various classification and generation tasks, highlighting the potential of bootstrapping self-alignment on continually enhancing model alignment performance.

스텝-온-피트 튜닝: 부트스트래핑을 통한 대형 언어 모델의 자기 정렬 확장

Step-On-Feet Tuning: Scaling Self-Alignment of LLMs via Bootstrapping

초록

Support