Afinamiento Paso a Paso: Escalando la Autoalineación de Modelos de Lenguaje mediante Bootstrapping

Step-On-Feet Tuning: Scaling Self-Alignment of LLMs via Bootstrapping

February 12, 2024

Autores: Haoyu Wang, Guozheng Ma, Ziqiao Meng, Zeyu Qin, Li Shen, Zhong Zhang, Bingzhe Wu, Liu Liu, Yatao Bian, Tingyang Xu, Xueqian Wang, Peilin Zhao

cs.AI

Resumen

La autoalineación es una forma efectiva de reducir el costo de la anotación humana mientras se garantiza una capacidad prometedora del modelo. Sin embargo, la mayoría de los métodos actuales completan los pasos de recopilación de datos y entrenamiento en una sola ronda, lo que puede pasar por alto la capacidad en constante mejora de los modelos autoalineados. Esto plantea una pregunta clave: ¿Qué sucede si realizamos una autoalineación con arranque múltiple? ¿Esta estrategia mejora el rendimiento del modelo o conduce a una degradación rápida? En este artículo, nuestra exploración pionera profundiza en el impacto de la autoalineación con arranque en modelos de lenguaje grandes. Nuestros hallazgos revelan que la autoalineación con arranque supera notablemente el enfoque de una sola ronda, al garantizar la diversidad de datos mediante el aprendizaje en contexto. Para explotar aún más las capacidades del arranque, investigamos y ajustamos el orden de entrenamiento de los datos, lo que resulta en un mejor rendimiento del modelo. Basándonos en estos hallazgos, proponemos Step-On-Feet Tuning (SOFT), que aprovecha la capacidad de pocos ejemplos en constante mejora del modelo para impulsar el rendimiento en cero o un solo ejemplo. Basándonos en una receta de entrenamiento de fácil a difícil, proponemos SOFT+, que mejora aún más el rendimiento de la autoalineación. Nuestros experimentos demuestran la eficiencia de SOFT (SOFT+) en diversas tareas de clasificación y generación, destacando el potencial de la autoalineación con arranque para mejorar continuamente el rendimiento de alineación del modelo.

English

Self-alignment is an effective way to reduce the cost of human annotation while ensuring promising model capability. However, most current methods complete the data collection and training steps in a single round, which may overlook the continuously improving ability of self-aligned models. This gives rise to a key query: What if we do multi-time bootstrapping self-alignment? Does this strategy enhance model performance or lead to rapid degradation? In this paper, our pioneering exploration delves into the impact of bootstrapping self-alignment on large language models. Our findings reveal that bootstrapping self-alignment markedly surpasses the single-round approach, by guaranteeing data diversity from in-context learning. To further exploit the capabilities of bootstrapping, we investigate and adjust the training order of data, which yields improved performance of the model. Drawing on these findings, we propose Step-On-Feet Tuning (SOFT) which leverages model's continuously enhanced few-shot ability to boost zero or one-shot performance. Based on easy-to-hard training recipe, we propose SOFT+ which further boost self-alignment's performance. Our experiments demonstrate the efficiency of SOFT (SOFT+) across various classification and generation tasks, highlighting the potential of bootstrapping self-alignment on continually enhancing model alignment performance.