I-SHEEP : Auto-alignement des LLM à partir de zéro grâce à un paradigme itératif d'auto-amélioration

I-SHEEP: Self-Alignment of LLM from Scratch through an Iterative Self-Enhancement Paradigm

August 15, 2024

Auteurs: Yiming Liang, Ge Zhang, Xingwei Qu, Tianyu Zheng, Jiawei Guo, Xinrun Du, Zhenzhu Yang, Jiaheng Liu, Chenghua Lin, Lei Ma, Wenhao Huang, Jiajun Zhang

cs.AI

Résumé

Les modèles de langage de grande taille (LLMs) ont réalisé des avancées significatives. Cependant, le paradigme d'apprentissage courant traite les LLMs comme des dépôts d'informations passifs, négligeant leur potentiel pour l'apprentissage actif et l'alignement. Certaines approches entraînent les LLMs en utilisant leurs propres données synthétiques générées, explorant ainsi la possibilité d'un alignement actif. Néanmoins, il existe encore un énorme fossé entre ces méthodes d'alignement ponctuelles et l'alignement automatique continu des humains. Dans cet article, nous présentons I-SHEEP, un paradigme itératif d'auto-amélioration. Ce paradigme, inspiré du comportement humain, permet aux LLMs de s'auto-aligner continuellement à partir de rien. Comparé à la méthode d'alignement ponctuelle Dromedary (sun2023principledriven), qui correspond à la première itération dans cet article, I-SHEEP peut considérablement améliorer les capacités des modèles Qwen et Llama. I-SHEEP atteint une amélioration relative maximale de 78,2 % dans Alpaca Eval, 24,0 % dans MT Bench, et une augmentation absolue de 8,88 % dans la précision de IFEval sur les itérations suivantes du modèle Qwen-1.5 72B. De plus, I-SHEEP surpasse le modèle de base dans diverses tâches de génération de benchmarks standards, obtenant une amélioration moyenne de 24,77 % dans les tâches de génération de code, 12,04 % dans TrivialQA, et 20,29 % dans SQuAD. Nous fournissons également de nouvelles perspectives basées sur les résultats expérimentaux. Nos codes, ensembles de données et modèles sont disponibles à l'adresse suivante : https://anonymous.4open.science/r/I-SHEEP.

English

Large Language Models (LLMs) have achieved significant advancements, however, the common learning paradigm treats LLMs as passive information repositories, neglecting their potential for active learning and alignment. Some approaches train LLMs using their own generated synthetic data, exploring the possibility of active alignment. However, there is still a huge gap between these one-time alignment methods and the continuous automatic alignment of humans. In this paper, we introduce I-SHEEP, an Iterative Self-EnHancEmEnt Paradigm.This human-like paradigm enables LLMs to continuously self-align from scratch with nothing. Compared to the one-time alignment method Dromedary sun2023principledriven, which refers to the first iteration in this paper, I-SHEEP can significantly enhance capacities on both Qwen and Llama models. I-SHEEP achieves a maximum relative improvement of 78.2\% in the Alpaca Eval, 24.0\% in the MT Bench, and an absolute increase of 8.88\% in the IFEval accuracy over subsequent iterations in Qwen-1.5 72B model. Additionally, I-SHEEP surpasses the base model in various standard benchmark generation tasks, achieving an average improvement of 24.77\% in code generation tasks, 12.04\% in TrivialQA, and 20.29\% in SQuAD. We also provide new insights based on the experiment results. Our codes, datasets, and models are available at https://anonymous.4open.science/r/I-SHEEP.