I-SHEEP: Autoalinhamento de LLM a partir do zero por meio de um Paradigma Iterativo de Autoaperfeiçoamento

I-SHEEP: Self-Alignment of LLM from Scratch through an Iterative Self-Enhancement Paradigm

August 15, 2024

Autores: Yiming Liang, Ge Zhang, Xingwei Qu, Tianyu Zheng, Jiawei Guo, Xinrun Du, Zhenzhu Yang, Jiaheng Liu, Chenghua Lin, Lei Ma, Wenhao Huang, Jiajun Zhang

cs.AI

Resumo

Os Modelos de Linguagem de Grande Escala (LLMs) alcançaram avanços significativos, no entanto, o paradigma comum de aprendizado trata os LLMs como repositórios passivos de informações, negligenciando seu potencial para aprendizado ativo e alinhamento. Algumas abordagens treinam os LLMs usando seus próprios dados sintéticos gerados, explorando a possibilidade de alinhamento ativo. No entanto, ainda há uma grande lacuna entre esses métodos de alinhamento pontual e o alinhamento automático contínuo dos humanos. Neste artigo, apresentamos o I-SHEEP, um Paradigma de Autoaperfeiçoamento Iterativo. Esse paradigma humanoide permite que os LLMs se autoalinhem continuamente a partir do zero. Comparado ao método de alinhamento pontual Dromedary sun2023principledriven, que se refere à primeira iteração neste artigo, o I-SHEEP pode aprimorar significativamente as capacidades dos modelos Qwen e Llama. O I-SHEEP alcança uma melhoria relativa máxima de 78,2% no Alpaca Eval, 24,0% no MT Bench e um aumento absoluto de 8,88% na precisão do IFEval ao longo das iterações subsequentes no modelo Qwen-1.5 72B. Além disso, o I-SHEEP supera o modelo base em várias tarefas padrão de geração de benchmark, alcançando uma melhoria média de 24,77% em tarefas de geração de código, 12,04% em TrivialQA e 20,29% no SQuAD. Também fornecemos novos insights com base nos resultados experimentais. Nossos códigos, conjuntos de dados e modelos estão disponíveis em https://anonymous.4open.science/r/I-SHEEP.

English

Large Language Models (LLMs) have achieved significant advancements, however, the common learning paradigm treats LLMs as passive information repositories, neglecting their potential for active learning and alignment. Some approaches train LLMs using their own generated synthetic data, exploring the possibility of active alignment. However, there is still a huge gap between these one-time alignment methods and the continuous automatic alignment of humans. In this paper, we introduce I-SHEEP, an Iterative Self-EnHancEmEnt Paradigm.This human-like paradigm enables LLMs to continuously self-align from scratch with nothing. Compared to the one-time alignment method Dromedary sun2023principledriven, which refers to the first iteration in this paper, I-SHEEP can significantly enhance capacities on both Qwen and Llama models. I-SHEEP achieves a maximum relative improvement of 78.2\% in the Alpaca Eval, 24.0\% in the MT Bench, and an absolute increase of 8.88\% in the IFEval accuracy over subsequent iterations in Qwen-1.5 72B model. Additionally, I-SHEEP surpasses the base model in various standard benchmark generation tasks, achieving an average improvement of 24.77\% in code generation tasks, 12.04\% in TrivialQA, and 20.29\% in SQuAD. We also provide new insights based on the experiment results. Our codes, datasets, and models are available at https://anonymous.4open.science/r/I-SHEEP.