Тонкая настройка "наступая на ноги": масштабирование самосовмещения больших языковых моделей через бутстреппинг

Step-On-Feet Tuning: Scaling Self-Alignment of LLMs via Bootstrapping

February 12, 2024

Авторы: Haoyu Wang, Guozheng Ma, Ziqiao Meng, Zeyu Qin, Li Shen, Zhong Zhang, Bingzhe Wu, Liu Liu, Yatao Bian, Tingyang Xu, Xueqian Wang, Peilin Zhao

cs.AI

Аннотация

Самостоятельное выравнивание (self-alignment) является эффективным способом снижения затрат на аннотирование данных человеком при сохранении высокой производительности модели. Однако большинство современных методов выполняют сбор данных и обучение за один этап, что может упускать из виду постоянно улучшающиеся способности самонастраиваемых моделей. Это порождает ключевой вопрос: что, если мы применим многократное бутстрэппинговое самонастроение? Улучшает ли эта стратегия производительность модели или приводит к быстрой деградации? В данной статье мы проводим новаторское исследование влияния бутстрэппингового самонастроения на крупные языковые модели. Наши результаты показывают, что бутстрэппинговое самонастроение значительно превосходит одноэтапный подход, обеспечивая разнообразие данных благодаря обучению в контексте. Для дальнейшего раскрытия потенциала бутстрэппинга мы исследуем и корректируем порядок обучения данных, что приводит к улучшению производительности модели. На основе этих выводов мы предлагаем метод Step-On-Feet Tuning (SOFT), который использует постоянно улучшающуюся способность модели к обучению с малым количеством примеров (few-shot) для повышения производительности в задачах с нулевым или одним примером (zero/one-shot). На основе стратегии обучения от простого к сложному мы предлагаем SOFT+, который дополнительно повышает эффективность самонастроения. Наши эксперименты демонстрируют эффективность SOFT (SOFT+) в различных задачах классификации и генерации, подчеркивая потенциал бутстрэппингового самонастроения для постоянного улучшения производительности моделей.

English

Self-alignment is an effective way to reduce the cost of human annotation while ensuring promising model capability. However, most current methods complete the data collection and training steps in a single round, which may overlook the continuously improving ability of self-aligned models. This gives rise to a key query: What if we do multi-time bootstrapping self-alignment? Does this strategy enhance model performance or lead to rapid degradation? In this paper, our pioneering exploration delves into the impact of bootstrapping self-alignment on large language models. Our findings reveal that bootstrapping self-alignment markedly surpasses the single-round approach, by guaranteeing data diversity from in-context learning. To further exploit the capabilities of bootstrapping, we investigate and adjust the training order of data, which yields improved performance of the model. Drawing on these findings, we propose Step-On-Feet Tuning (SOFT) which leverages model's continuously enhanced few-shot ability to boost zero or one-shot performance. Based on easy-to-hard training recipe, we propose SOFT+ which further boost self-alignment's performance. Our experiments demonstrate the efficiency of SOFT (SOFT+) across various classification and generation tasks, highlighting the potential of bootstrapping self-alignment on continually enhancing model alignment performance.