I-SHEEP: Zelfuitlijning van LLM vanaf nul door een iteratief zelfverbeteringsparadigma

I-SHEEP: Self-Alignment of LLM from Scratch through an Iterative Self-Enhancement Paradigm

August 15, 2024

Auteurs: Yiming Liang, Ge Zhang, Xingwei Qu, Tianyu Zheng, Jiawei Guo, Xinrun Du, Zhenzhu Yang, Jiaheng Liu, Chenghua Lin, Lei Ma, Wenhao Huang, Jiajun Zhang

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) hebben aanzienlijke vooruitgang geboekt, maar het gangbare leerparadigma behandelt LLMs als passieve informatieopslagplaatsen, waarbij hun potentieel voor actief leren en afstemming wordt verwaarloosd. Sommige benaderingen trainen LLMs met hun eigen gegenereerde synthetische data, waarbij de mogelijkheid van actieve afstemming wordt onderzocht. Er bestaat echter nog steeds een groot verschil tussen deze eenmalige afstemmingsmethoden en de continue automatische afstemming van mensen. In dit artikel introduceren we I-SHEEP, een Iteratief Zelf-Verbeteringsparadigma. Dit mensachtige paradigma stelt LLMs in staat om zichzelf vanaf nul continu af te stemmen zonder externe input. Vergeleken met de eenmalige afstemmingsmethode Dromedary (sun2023principledriven), die verwijst naar de eerste iteratie in dit artikel, kan I-SHEEP de capaciteiten van zowel Qwen- als Llama-modellen aanzienlijk verbeteren. I-SHEEP behaalt een maximale relatieve verbetering van 78,2\% in de Alpaca Eval, 24,0\% in de MT Bench, en een absolute stijging van 8,88\% in de IFEval-nauwkeurigheid over opeenvolgende iteraties in het Qwen-1.5 72B-model. Daarnaast overtreft I-SHEEP het basismodel in verschillende standaard benchmark-generatietaken, met een gemiddelde verbetering van 24,77\% in code-generatietaken, 12,04\% in TrivialQA, en 20,29\% in SQuAD. We bieden ook nieuwe inzichten op basis van de experimentresultaten. Onze codes, datasets en modellen zijn beschikbaar op https://anonymous.4open.science/r/I-SHEEP.

English

Large Language Models (LLMs) have achieved significant advancements, however, the common learning paradigm treats LLMs as passive information repositories, neglecting their potential for active learning and alignment. Some approaches train LLMs using their own generated synthetic data, exploring the possibility of active alignment. However, there is still a huge gap between these one-time alignment methods and the continuous automatic alignment of humans. In this paper, we introduce I-SHEEP, an Iterative Self-EnHancEmEnt Paradigm.This human-like paradigm enables LLMs to continuously self-align from scratch with nothing. Compared to the one-time alignment method Dromedary sun2023principledriven, which refers to the first iteration in this paper, I-SHEEP can significantly enhance capacities on both Qwen and Llama models. I-SHEEP achieves a maximum relative improvement of 78.2\% in the Alpaca Eval, 24.0\% in the MT Bench, and an absolute increase of 8.88\% in the IFEval accuracy over subsequent iterations in Qwen-1.5 72B model. Additionally, I-SHEEP surpasses the base model in various standard benchmark generation tasks, achieving an average improvement of 24.77\% in code generation tasks, 12.04\% in TrivialQA, and 20.29\% in SQuAD. We also provide new insights based on the experiment results. Our codes, datasets, and models are available at https://anonymous.4open.science/r/I-SHEEP.