Step-On-Feet-Tuning: Skalierung der Selbstausrichtung von LLMs durch Bootstrapping

Step-On-Feet Tuning: Scaling Self-Alignment of LLMs via Bootstrapping

February 12, 2024

Autoren: Haoyu Wang, Guozheng Ma, Ziqiao Meng, Zeyu Qin, Li Shen, Zhong Zhang, Bingzhe Wu, Liu Liu, Yatao Bian, Tingyang Xu, Xueqian Wang, Peilin Zhao

cs.AI

Zusammenfassung

Selbstausrichtung ist eine effektive Methode, um die Kosten für menschliche Annotation zu reduzieren und gleichzeitig eine vielversprechende Modellfähigkeit sicherzustellen. Die meisten aktuellen Methoden führen jedoch die Datensammlung und das Training in einem einzigen Durchgang durch, was die kontinuierlich verbesserte Fähigkeit selbstausgerichteter Modelle übersehen könnte. Dies wirft eine zentrale Frage auf: Was, wenn wir die Selbstausrichtung durch mehrfaches Bootstrapping durchführen? Verbessert diese Strategie die Modellleistung oder führt sie zu einer raschen Verschlechterung? In diesem Papier untersuchen wir erstmals die Auswirkungen von Bootstrapping-Selbstausrichtung auf große Sprachmodelle. Unsere Ergebnisse zeigen, dass Bootstrapping-Selbstausrichtung den Einzelrundenansatz deutlich übertrifft, indem sie die Datenvielfalt durch In-Context-Lernen sicherstellt. Um die Fähigkeiten des Bootstrappings weiter auszuschöpfen, untersuchen und passen wir die Trainingsreihenfolge der Daten an, was zu einer verbesserten Modellleistung führt. Aufbauend auf diesen Erkenntnissen schlagen wir Step-On-Feet Tuning (SOFT) vor, das die kontinuierlich verbesserte Few-Shot-Fähigkeit des Modells nutzt, um die Zero- oder One-Shot-Leistung zu steigern. Basierend auf einem Easy-to-Hard-Trainingsrezept schlagen wir SOFT+ vor, das die Leistung der Selbstausrichtung weiter verbessert. Unsere Experimente demonstrieren die Effizienz von SOFT (SOFT+) in verschiedenen Klassifikations- und Generierungsaufgaben und unterstreichen das Potenzial von Bootstrapping-Selbstausrichtung, die Modellausrichtungsleistung kontinuierlich zu verbessern.

English

Self-alignment is an effective way to reduce the cost of human annotation while ensuring promising model capability. However, most current methods complete the data collection and training steps in a single round, which may overlook the continuously improving ability of self-aligned models. This gives rise to a key query: What if we do multi-time bootstrapping self-alignment? Does this strategy enhance model performance or lead to rapid degradation? In this paper, our pioneering exploration delves into the impact of bootstrapping self-alignment on large language models. Our findings reveal that bootstrapping self-alignment markedly surpasses the single-round approach, by guaranteeing data diversity from in-context learning. To further exploit the capabilities of bootstrapping, we investigate and adjust the training order of data, which yields improved performance of the model. Drawing on these findings, we propose Step-On-Feet Tuning (SOFT) which leverages model's continuously enhanced few-shot ability to boost zero or one-shot performance. Based on easy-to-hard training recipe, we propose SOFT+ which further boost self-alignment's performance. Our experiments demonstrate the efficiency of SOFT (SOFT+) across various classification and generation tasks, highlighting the potential of bootstrapping self-alignment on continually enhancing model alignment performance.