I-SHEEP: Selbstausrichtung von LLM von Grund auf durch ein iteratives Selbstverbesserungs-Paradigma

I-SHEEP: Self-Alignment of LLM from Scratch through an Iterative Self-Enhancement Paradigm

August 15, 2024

Autoren: Yiming Liang, Ge Zhang, Xingwei Qu, Tianyu Zheng, Jiawei Guo, Xinrun Du, Zhenzhu Yang, Jiaheng Liu, Chenghua Lin, Lei Ma, Wenhao Huang, Jiajun Zhang

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben bedeutende Fortschritte erzielt, jedoch behandelt das gängige Lernparadigma LLMs als passive Informationsdepots und vernachlässigt ihr Potenzial für aktives Lernen und Ausrichtung. Einige Ansätze trainieren LLMs mithilfe ihrer eigenen generierten synthetischen Daten, um die Möglichkeit aktiver Ausrichtung zu erforschen. Es besteht jedoch immer noch eine große Kluft zwischen diesen einmaligen Ausrichtungsmethoden und der kontinuierlichen automatischen Ausrichtung von Menschen. In diesem Paper stellen wir I-SHEEP vor, ein Iteratives Selbst-VerBesserungs-Paradigma. Dieses menschenähnliche Paradigma ermöglicht es LLMs, sich kontinuierlich von Grund auf selbst auszurichten. Im Vergleich zur einmaligen Ausrichtungsmethode Dromedar sun2023principledriven, die sich auf die erste Iteration in diesem Paper bezieht, kann I-SHEEP die Kapazitäten sowohl der Qwen- als auch der Llama-Modelle signifikant verbessern. I-SHEEP erzielt eine maximale relative Verbesserung von 78,2 % in der Alpaka-Evaluation, 24,0 % in der MT-Bench und eine absolute Steigerung von 8,88 % in der IFEval-Genauigkeit über nachfolgende Iterationen im Qwen-1.5-72B-Modell. Darüber hinaus übertrifft I-SHEEP das Basismodell in verschiedenen Standard-Benchmark-Generierungsaufgaben und erzielt eine durchschnittliche Verbesserung von 24,77 % bei Code-Generierungsaufgaben, 12,04 % bei TrivialQA und 20,29 % bei SQuAD. Wir bieten auch neue Erkenntnisse basierend auf den Experimentenergebnissen an. Unsere Codes, Datensätze und Modelle sind unter https://anonymous.4open.science/r/I-SHEEP verfügbar.

English

Large Language Models (LLMs) have achieved significant advancements, however, the common learning paradigm treats LLMs as passive information repositories, neglecting their potential for active learning and alignment. Some approaches train LLMs using their own generated synthetic data, exploring the possibility of active alignment. However, there is still a huge gap between these one-time alignment methods and the continuous automatic alignment of humans. In this paper, we introduce I-SHEEP, an Iterative Self-EnHancEmEnt Paradigm.This human-like paradigm enables LLMs to continuously self-align from scratch with nothing. Compared to the one-time alignment method Dromedary sun2023principledriven, which refers to the first iteration in this paper, I-SHEEP can significantly enhance capacities on both Qwen and Llama models. I-SHEEP achieves a maximum relative improvement of 78.2\% in the Alpaca Eval, 24.0\% in the MT Bench, and an absolute increase of 8.88\% in the IFEval accuracy over subsequent iterations in Qwen-1.5 72B model. Additionally, I-SHEEP surpasses the base model in various standard benchmark generation tasks, achieving an average improvement of 24.77\% in code generation tasks, 12.04\% in TrivialQA, and 20.29\% in SQuAD. We also provide new insights based on the experiment results. Our codes, datasets, and models are available at https://anonymous.4open.science/r/I-SHEEP.