I-SHEEP: Autoalineación de LLM desde Cero a través de un Paradigma Iterativo de Auto-Mejora

I-SHEEP: Self-Alignment of LLM from Scratch through an Iterative Self-Enhancement Paradigm

August 15, 2024

Autores: Yiming Liang, Ge Zhang, Xingwei Qu, Tianyu Zheng, Jiawei Guo, Xinrun Du, Zhenzhu Yang, Jiaheng Liu, Chenghua Lin, Lei Ma, Wenhao Huang, Jiajun Zhang

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Tamaño (LLMs) han logrado avances significativos, sin embargo, el paradigma común de aprendizaje trata a los LLMs como repositorios pasivos de información, descuidando su potencial para el aprendizaje activo y la alineación. Algunos enfoques entrenan a los LLMs utilizando sus propios datos sintéticos generados, explorando la posibilidad de una alineación activa. Sin embargo, todavía existe una gran brecha entre estos métodos de alineación única y la alineación automática continua de los humanos. En este artículo, presentamos I-SHEEP, un Paradigma de Mejora Autónoma Iterativa. Este paradigma humanoide permite a los LLMs autoalinearse continuamente desde cero. En comparación con el método de alineación única Dromedario sun2023principledriven, que se refiere a la primera iteración en este artículo, I-SHEEP puede mejorar significativamente las capacidades en los modelos Qwen y Llama. I-SHEEP logra una mejora relativa máxima del 78.2% en Alpaca Eval, 24.0% en MT Bench, y un aumento absoluto del 8.88% en la precisión de IFEval en las iteraciones subsiguientes en el modelo Qwen-1.5 72B. Además, I-SHEEP supera al modelo base en varias tareas estándar de generación de benchmarks, logrando una mejora promedio del 24.77% en tareas de generación de código, 12.04% en TrivialQA, y 20.29% en SQuAD. También proporcionamos nuevas ideas basadas en los resultados experimentales. Nuestros códigos, conjuntos de datos y modelos están disponibles en https://anonymous.4open.science/r/I-SHEEP.

English

Large Language Models (LLMs) have achieved significant advancements, however, the common learning paradigm treats LLMs as passive information repositories, neglecting their potential for active learning and alignment. Some approaches train LLMs using their own generated synthetic data, exploring the possibility of active alignment. However, there is still a huge gap between these one-time alignment methods and the continuous automatic alignment of humans. In this paper, we introduce I-SHEEP, an Iterative Self-EnHancEmEnt Paradigm.This human-like paradigm enables LLMs to continuously self-align from scratch with nothing. Compared to the one-time alignment method Dromedary sun2023principledriven, which refers to the first iteration in this paper, I-SHEEP can significantly enhance capacities on both Qwen and Llama models. I-SHEEP achieves a maximum relative improvement of 78.2\% in the Alpaca Eval, 24.0\% in the MT Bench, and an absolute increase of 8.88\% in the IFEval accuracy over subsequent iterations in Qwen-1.5 72B model. Additionally, I-SHEEP surpasses the base model in various standard benchmark generation tasks, achieving an average improvement of 24.77\% in code generation tasks, 12.04\% in TrivialQA, and 20.29\% in SQuAD. We also provide new insights based on the experiment results. Our codes, datasets, and models are available at https://anonymous.4open.science/r/I-SHEEP.