Ajuste Passo a Passo: Escalonando o Autoalinhamento de LLMs por meio de Bootstrapping

Step-On-Feet Tuning: Scaling Self-Alignment of LLMs via Bootstrapping

February 12, 2024

Autores: Haoyu Wang, Guozheng Ma, Ziqiao Meng, Zeyu Qin, Li Shen, Zhong Zhang, Bingzhe Wu, Liu Liu, Yatao Bian, Tingyang Xu, Xueqian Wang, Peilin Zhao

cs.AI

Resumo

O alinhamento automático é uma maneira eficaz de reduzir o custo da anotação humana enquanto garante uma capacidade promissora do modelo. No entanto, a maioria dos métodos atuais completa as etapas de coleta de dados e treinamento em uma única rodada, o que pode negligenciar a capacidade continuamente aprimorada dos modelos autoalinhados. Isso levanta uma questão crucial: E se fizermos o alinhamento automático com múltiplas rodadas de bootstrapping? Essa estratégia melhora o desempenho do modelo ou leva a uma rápida degradação? Neste artigo, nossa exploração pioneira investiga o impacto do alinhamento automático com bootstrapping em modelos de linguagem de grande escala. Nossas descobertas revelam que o alinhamento automático com bootstrapping supera significativamente a abordagem de rodada única, garantindo a diversidade de dados por meio da aprendizagem em contexto. Para explorar ainda mais as capacidades do bootstrapping, investigamos e ajustamos a ordem de treinamento dos dados, o que resulta em um desempenho aprimorado do modelo. Com base nessas descobertas, propomos o Step-On-Feet Tuning (SOFT), que aproveita a capacidade continuamente aprimorada do modelo em poucos exemplos para impulsionar o desempenho em zero ou um exemplo. Com base na receita de treinamento do fácil para o difícil, propomos o SOFT+, que aumenta ainda mais o desempenho do alinhamento automático. Nossos experimentos demonstram a eficiência do SOFT (SOFT+) em várias tarefas de classificação e geração, destacando o potencial do alinhamento automático com bootstrapping para aprimorar continuamente o desempenho de alinhamento do modelo.

English

Self-alignment is an effective way to reduce the cost of human annotation while ensuring promising model capability. However, most current methods complete the data collection and training steps in a single round, which may overlook the continuously improving ability of self-aligned models. This gives rise to a key query: What if we do multi-time bootstrapping self-alignment? Does this strategy enhance model performance or lead to rapid degradation? In this paper, our pioneering exploration delves into the impact of bootstrapping self-alignment on large language models. Our findings reveal that bootstrapping self-alignment markedly surpasses the single-round approach, by guaranteeing data diversity from in-context learning. To further exploit the capabilities of bootstrapping, we investigate and adjust the training order of data, which yields improved performance of the model. Drawing on these findings, we propose Step-On-Feet Tuning (SOFT) which leverages model's continuously enhanced few-shot ability to boost zero or one-shot performance. Based on easy-to-hard training recipe, we propose SOFT+ which further boost self-alignment's performance. Our experiments demonstrate the efficiency of SOFT (SOFT+) across various classification and generation tasks, highlighting the potential of bootstrapping self-alignment on continually enhancing model alignment performance.