I-SHEEP: Самовыравнивание LLM с нуля через итеративную парадигму самоусовершенствования

I-SHEEP: Self-Alignment of LLM from Scratch through an Iterative Self-Enhancement Paradigm

August 15, 2024

Авторы: Yiming Liang, Ge Zhang, Xingwei Qu, Tianyu Zheng, Jiawei Guo, Xinrun Du, Zhenzhu Yang, Jiaheng Liu, Chenghua Lin, Lei Ma, Wenhao Huang, Jiajun Zhang

cs.AI

Аннотация

Большие языковые модели (LLM) достигли значительных прорывов, однако общая парадигма обучения рассматривает LLM как пассивные хранилища информации, игнорируя их потенциал для активного обучения и выравнивания. Некоторые подходы обучают LLM, используя собственные синтетические данные, исследуя возможность активного выравнивания. Однако между этими методами одноразового выравнивания и непрерывного автоматического выравнивания с людьми все еще существует огромный разрыв. В данной статье мы представляем I-SHEEP, Итеративную Парадигму Самоусовершенствования. Эта парадигма, подобная человеческой, позволяет LLM непрерывно самовыравниваться с нуля. По сравнению с методом одноразового выравнивания Dromedary sun2023principledriven, который упоминается в данной статье как первая итерация, I-SHEEP может значительно увеличить возможности как моделей Qwen, так и Llama. I-SHEEP достигает максимального относительного улучшения на 78.2\% в Alpaca Eval, 24.0\% в MT Bench и абсолютного прироста на 8.88\% в точности IFEval по сравнению с последующими итерациями в модели Qwen-1.5 72B. Кроме того, I-SHEEP превосходит базовую модель в различных стандартных задачах генерации, достигая в среднем улучшения на 24.77\% в задачах генерации кода, 12.04\% в TrivialQA и 20.29\% в SQuAD. Мы также предоставляем новые идеи на основе результатов экспериментов. Наши коды, наборы данных и модели доступны по адресу https://anonymous.4open.science/r/I-SHEEP.

English

Large Language Models (LLMs) have achieved significant advancements, however, the common learning paradigm treats LLMs as passive information repositories, neglecting their potential for active learning and alignment. Some approaches train LLMs using their own generated synthetic data, exploring the possibility of active alignment. However, there is still a huge gap between these one-time alignment methods and the continuous automatic alignment of humans. In this paper, we introduce I-SHEEP, an Iterative Self-EnHancEmEnt Paradigm.This human-like paradigm enables LLMs to continuously self-align from scratch with nothing. Compared to the one-time alignment method Dromedary sun2023principledriven, which refers to the first iteration in this paper, I-SHEEP can significantly enhance capacities on both Qwen and Llama models. I-SHEEP achieves a maximum relative improvement of 78.2\% in the Alpaca Eval, 24.0\% in the MT Bench, and an absolute increase of 8.88\% in the IFEval accuracy over subsequent iterations in Qwen-1.5 72B model. Additionally, I-SHEEP surpasses the base model in various standard benchmark generation tasks, achieving an average improvement of 24.77\% in code generation tasks, 12.04\% in TrivialQA, and 20.29\% in SQuAD. We also provide new insights based on the experiment results. Our codes, datasets, and models are available at https://anonymous.4open.science/r/I-SHEEP.