Réglage Pas-à-Pas : Mise à l'échelle de l'auto-alignement des LLM par amorçage

Step-On-Feet Tuning: Scaling Self-Alignment of LLMs via Bootstrapping

February 12, 2024

Auteurs: Haoyu Wang, Guozheng Ma, Ziqiao Meng, Zeyu Qin, Li Shen, Zhong Zhang, Bingzhe Wu, Liu Liu, Yatao Bian, Tingyang Xu, Xueqian Wang, Peilin Zhao

cs.AI

Résumé

L'auto-alignement est une méthode efficace pour réduire le coût de l'annotation humaine tout en garantissant des capacités prometteuses du modèle. Cependant, la plupart des méthodes actuelles réalisent la collecte de données et l'entraînement en une seule étape, ce qui peut négliger la capacité d'amélioration continue des modèles auto-alignés. Cela soulève une question clé : Et si nous effectuions un auto-alignement par bootstrap en plusieurs étapes ? Cette stratégie améliore-t-elle les performances du modèle ou conduit-elle à une dégradation rapide ? Dans cet article, notre exploration pionnière examine l'impact de l'auto-alignement par bootstrap sur les grands modèles de langage. Nos résultats révèlent que l'auto-alignement par bootstrap surpasse nettement l'approche en une seule étape, en garantissant la diversité des données grâce à l'apprentissage en contexte. Pour exploiter davantage les capacités du bootstrap, nous étudions et ajustons l'ordre d'entraînement des données, ce qui améliore les performances du modèle. Sur la base de ces découvertes, nous proposons le Step-On-Feet Tuning (SOFT), qui exploite la capacité améliorée en few-shot du modèle pour booster les performances en zero-shot ou one-shot. En nous appuyant sur une recette d'entraînement allant du facile au difficile, nous proposons SOFT+, qui améliore encore les performances de l'auto-alignement. Nos expériences démontrent l'efficacité de SOFT (SOFT+) sur diverses tâches de classification et de génération, mettant en lumière le potentiel de l'auto-alignement par bootstrap pour améliorer continuellement les performances d'alignement des modèles.

English

Self-alignment is an effective way to reduce the cost of human annotation while ensuring promising model capability. However, most current methods complete the data collection and training steps in a single round, which may overlook the continuously improving ability of self-aligned models. This gives rise to a key query: What if we do multi-time bootstrapping self-alignment? Does this strategy enhance model performance or lead to rapid degradation? In this paper, our pioneering exploration delves into the impact of bootstrapping self-alignment on large language models. Our findings reveal that bootstrapping self-alignment markedly surpasses the single-round approach, by guaranteeing data diversity from in-context learning. To further exploit the capabilities of bootstrapping, we investigate and adjust the training order of data, which yields improved performance of the model. Drawing on these findings, we propose Step-On-Feet Tuning (SOFT) which leverages model's continuously enhanced few-shot ability to boost zero or one-shot performance. Based on easy-to-hard training recipe, we propose SOFT+ which further boost self-alignment's performance. Our experiments demonstrate the efficiency of SOFT (SOFT+) across various classification and generation tasks, highlighting the potential of bootstrapping self-alignment on continually enhancing model alignment performance.