Step-On-Feet Tuning: Scalabilità dell'Auto-Allineamento degli LLM tramite Bootstrapping

Step-On-Feet Tuning: Scaling Self-Alignment of LLMs via Bootstrapping

February 12, 2024

Autori: Haoyu Wang, Guozheng Ma, Ziqiao Meng, Zeyu Qin, Li Shen, Zhong Zhang, Bingzhe Wu, Liu Liu, Yatao Bian, Tingyang Xu, Xueqian Wang, Peilin Zhao

cs.AI

Abstract

L'auto-allineamento è un metodo efficace per ridurre i costi dell'annotazione umana garantendo al contempo promettenti capacità del modello. Tuttavia, la maggior parte degli approcci attuali completa la raccolta dei dati e la fase di addestramento in un unico ciclo, rischiando di trascurare la capacità in continua evoluzione dei modelli auto-allineati. Ciò solleva una domanda cruciale: cosa accadrebbe se applicassimo un auto-allineamento con bootstrapping multiplo? Questa strategia migliorerebbe le prestazioni del modello o porterebbe a un rapido deterioramento? In questo articolo, la nostra esplorazione pionieristica approfondisce l'impatto del bootstrapping di auto-allineamento sui grandi modelli linguistici. I nostri risultati dimostrano che il bootstrapping di auto-allineamento supera significativamente l'approccio a ciclo singolo, garantendo la diversità dei dati attraverso l'apprendimento contestuale. Per sfruttare ulteriormente le potenzialità del bootstrapping, abbiamo studiato e modificato l'ordine di addestramento dei dati, ottenendo un miglioramento delle prestazioni del modello. Sulla base di queste scoperte, proponiamo il Step-On-Feet Tuning (SOFT), che sfrutta la capacità few-shot continuamente migliorata del modello per potenziare le prestazioni zero-shot o one-shot. Basandoci su una ricetta di addestramento "dal facile al difficile", proponiamo SOFT+, che migliora ulteriormente le prestazioni dell'auto-allineamento. I nostri esperimenti dimostrano l'efficienza di SOFT (SOFT+) in vari compiti di classificazione e generazione, evidenziando il potenziale del bootstrapping di auto-allineamento nel migliorare continuamente le prestazioni di allineamento del modello.

English

Self-alignment is an effective way to reduce the cost of human annotation while ensuring promising model capability. However, most current methods complete the data collection and training steps in a single round, which may overlook the continuously improving ability of self-aligned models. This gives rise to a key query: What if we do multi-time bootstrapping self-alignment? Does this strategy enhance model performance or lead to rapid degradation? In this paper, our pioneering exploration delves into the impact of bootstrapping self-alignment on large language models. Our findings reveal that bootstrapping self-alignment markedly surpasses the single-round approach, by guaranteeing data diversity from in-context learning. To further exploit the capabilities of bootstrapping, we investigate and adjust the training order of data, which yields improved performance of the model. Drawing on these findings, we propose Step-On-Feet Tuning (SOFT) which leverages model's continuously enhanced few-shot ability to boost zero or one-shot performance. Based on easy-to-hard training recipe, we propose SOFT+ which further boost self-alignment's performance. Our experiments demonstrate the efficiency of SOFT (SOFT+) across various classification and generation tasks, highlighting the potential of bootstrapping self-alignment on continually enhancing model alignment performance.