I-SHEEP: 반복적인 자기 향상 패러다임을 통한 LLM의 자체 정렬하기

I-SHEEP: Self-Alignment of LLM from Scratch through an Iterative Self-Enhancement Paradigm

August 15, 2024

저자: Yiming Liang, Ge Zhang, Xingwei Qu, Tianyu Zheng, Jiawei Guo, Xinrun Du, Zhenzhu Yang, Jiaheng Liu, Chenghua Lin, Lei Ma, Wenhao Huang, Jiajun Zhang

cs.AI

초록

대형 언어 모델(Large Language Models, LLMs)은 상당한 발전을 이루었지만, 일반적인 학습 패러다임은 LLMs를 수동적인 정보 저장소로 취급하여 능동 학습과 조정 가능성을 간과합니다. 일부 접근 방식은 LLMs를 자체 생성된 합성 데이터를 사용하여 훈련시켜 능동 조정의 가능성을 탐구합니다. 그러나 이러한 일회성 조정 방법과 인간의 지속적인 자동 조정 간에는 여전히 큰 간격이 존재합니다. 본 논문에서는 I-SHEEP를 소개합니다. 이는 반복적인 자가 향상 패러다임으로, 이 인간과 유사한 패러다임은 LLMs가 아무 것도 없이 처음부터 지속적으로 자가 조정할 수 있게 합니다. 본 논문의 첫 번째 반복을 참조하는 일회성 조정 방법 Dromedary sun2023principledriven과 비교하여, I-SHEEP는 Qwen 및 Llama 모델의 능력을 크게 향상시킬 수 있습니다. I-SHEEP는 Qwen-1.5 72B 모델에서 Alpaca Eval에서 최대 상대적 향상률 78.2%, MT Bench에서 24.0%, IFEval 정확도에서 8.88%의 절대 증가를 달성합니다. 또한, I-SHEEP는 다양한 표준 벤치마크 생성 작업에서 기본 모델을 능가하여 코드 생성 작업에서 평균 24.77%, TrivialQA에서 12.04%, SQuAD에서 20.29%의 향상을 달성합니다. 실험 결과를 기반으로 새로운 통찰을 제공합니다. 저희의 코드, 데이터셋 및 모델은 https://anonymous.4open.science/r/I-SHEEP에서 제공됩니다.

English

Large Language Models (LLMs) have achieved significant advancements, however, the common learning paradigm treats LLMs as passive information repositories, neglecting their potential for active learning and alignment. Some approaches train LLMs using their own generated synthetic data, exploring the possibility of active alignment. However, there is still a huge gap between these one-time alignment methods and the continuous automatic alignment of humans. In this paper, we introduce I-SHEEP, an Iterative Self-EnHancEmEnt Paradigm.This human-like paradigm enables LLMs to continuously self-align from scratch with nothing. Compared to the one-time alignment method Dromedary sun2023principledriven, which refers to the first iteration in this paper, I-SHEEP can significantly enhance capacities on both Qwen and Llama models. I-SHEEP achieves a maximum relative improvement of 78.2\% in the Alpaca Eval, 24.0\% in the MT Bench, and an absolute increase of 8.88\% in the IFEval accuracy over subsequent iterations in Qwen-1.5 72B model. Additionally, I-SHEEP surpasses the base model in various standard benchmark generation tasks, achieving an average improvement of 24.77\% in code generation tasks, 12.04\% in TrivialQA, and 20.29\% in SQuAD. We also provide new insights based on the experiment results. Our codes, datasets, and models are available at https://anonymous.4open.science/r/I-SHEEP.