ステップ・オン・フィート・チューニング：ブートストラップによる大規模言語モデルの自己アラインメントのスケーリング

Step-On-Feet Tuning: Scaling Self-Alignment of LLMs via Bootstrapping

February 12, 2024

著者: Haoyu Wang, Guozheng Ma, Ziqiao Meng, Zeyu Qin, Li Shen, Zhong Zhang, Bingzhe Wu, Liu Liu, Yatao Bian, Tingyang Xu, Xueqian Wang, Peilin Zhao

cs.AI

要旨

自己アライメントは、有望なモデル能力を確保しつつ、人間によるアノテーションのコストを削減する効果的な方法です。しかし、現在のほとんどの手法では、データ収集とトレーニングのステップを1回のラウンドで完了させており、自己アライメントモデルの継続的に向上する能力を見落としている可能性があります。これにより、重要な疑問が生じます：もし複数回のブートストラップ自己アライメントを行ったらどうなるのか？この戦略はモデルの性能を向上させるのか、それとも急速な劣化を招くのか？本論文では、ブートストラップ自己アライメントが大規模言語モデルに与える影響について先駆的な探求を行います。我々の調査結果は、ブートストラップ自己アライメントが、コンテキスト内学習によるデータの多様性を保証することで、単一ラウンドのアプローチを著しく上回ることを明らかにしています。ブートストラップの能力をさらに活用するために、データのトレーニング順序を調査し調整することで、モデルの性能向上を実現しました。これらの知見に基づき、モデルの継続的に強化される少数ショット能力を活用して、ゼロショットまたはワンショットの性能を向上させるStep-On-Feet Tuning（SOFT）を提案します。また、易しいものから難しいものへとトレーニングするレシピに基づいて、SOFT+を提案し、自己アライメントの性能をさらに向上させます。我々の実験は、SOFT（SOFT+）がさまざまな分類タスクおよび生成タスクにおいて効率的であることを示し、ブートストラップ自己アライメントがモデルのアライメント性能を継続的に向上させる可能性を強調しています。

English

Self-alignment is an effective way to reduce the cost of human annotation while ensuring promising model capability. However, most current methods complete the data collection and training steps in a single round, which may overlook the continuously improving ability of self-aligned models. This gives rise to a key query: What if we do multi-time bootstrapping self-alignment? Does this strategy enhance model performance or lead to rapid degradation? In this paper, our pioneering exploration delves into the impact of bootstrapping self-alignment on large language models. Our findings reveal that bootstrapping self-alignment markedly surpasses the single-round approach, by guaranteeing data diversity from in-context learning. To further exploit the capabilities of bootstrapping, we investigate and adjust the training order of data, which yields improved performance of the model. Drawing on these findings, we propose Step-On-Feet Tuning (SOFT) which leverages model's continuously enhanced few-shot ability to boost zero or one-shot performance. Based on easy-to-hard training recipe, we propose SOFT+ which further boost self-alignment's performance. Our experiments demonstrate the efficiency of SOFT (SOFT+) across various classification and generation tasks, highlighting the potential of bootstrapping self-alignment on continually enhancing model alignment performance.