I-SHEEP: Auto-Allineamento di LLM da Zero attraverso un Paradigma Iterativo di Auto-Miglioramento

Abstract

I Large Language Models (LLMs) hanno raggiunto progressi significativi; tuttavia, il paradigma di apprendimento comune li tratta come repository passivi di informazioni, trascurando il loro potenziale per l'apprendimento attivo e l'allineamento. Alcuni approcci addestrano i LLMs utilizzando dati sintetici generati da loro stessi, esplorando la possibilità di un allineamento attivo. Tuttavia, esiste ancora un enorme divario tra questi metodi di allineamento una tantum e l'allineamento automatico continuo degli esseri umani. In questo articolo, introduciamo I-SHEEP, un paradigma di Iterative Self-EnHancEmEnt (Miglioramento Iterativo Autonomo). Questo paradigma simile a quello umano consente ai LLMs di allinearsi continuamente da zero senza alcun input esterno. Rispetto al metodo di allineamento una tantum Dromedary (sun2023principledriven), che si riferisce alla prima iterazione in questo articolo, I-SHEEP può migliorare significativamente le capacità sia dei modelli Qwen che Llama. I-SHEEP raggiunge un miglioramento relativo massimo del 78,2% nell'Alpaca Eval, del 24,0% nel MT Bench e un aumento assoluto dell'8,88% nell'accuratezza di IFEval nelle iterazioni successive del modello Qwen-1.5 72B. Inoltre, I-SHEEP supera il modello base in vari task di generazione su benchmark standard, ottenendo un miglioramento medio del 24,77% nei task di generazione di codice, del 12,04% in TrivialQA e del 20,29% in SQuAD. Forniamo anche nuove intuizioni basate sui risultati degli esperimenti. I nostri codici, dataset e modelli sono disponibili all'indirizzo https://anonymous.4open.science/r/I-SHEEP.

English

Large Language Models (LLMs) have achieved significant advancements, however, the common learning paradigm treats LLMs as passive information repositories, neglecting their potential for active learning and alignment. Some approaches train LLMs using their own generated synthetic data, exploring the possibility of active alignment. However, there is still a huge gap between these one-time alignment methods and the continuous automatic alignment of humans. In this paper, we introduce I-SHEEP, an Iterative Self-EnHancEmEnt Paradigm.This human-like paradigm enables LLMs to continuously self-align from scratch with nothing. Compared to the one-time alignment method Dromedary sun2023principledriven, which refers to the first iteration in this paper, I-SHEEP can significantly enhance capacities on both Qwen and Llama models. I-SHEEP achieves a maximum relative improvement of 78.2\% in the Alpaca Eval, 24.0\% in the MT Bench, and an absolute increase of 8.88\% in the IFEval accuracy over subsequent iterations in Qwen-1.5 72B model. Additionally, I-SHEEP surpasses the base model in various standard benchmark generation tasks, achieving an average improvement of 24.77\% in code generation tasks, 12.04\% in TrivialQA, and 20.29\% in SQuAD. We also provide new insights based on the experiment results. Our codes, datasets, and models are available at https://anonymous.4open.science/r/I-SHEEP.

I-SHEEP: Auto-Allineamento di LLM da Zero attraverso un Paradigma Iterativo di Auto-Miglioramento

I-SHEEP: Self-Alignment of LLM from Scratch through an Iterative Self-Enhancement Paradigm

Abstract

Support