Самостоятельная донастройка с использованием самоигры превращает слабые языковые модели в мощные языковые модели.

Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models

January 2, 2024

Авторы: Zixiang Chen, Yihe Deng, Huizhuo Yuan, Kaixuan Ji, Quanquan Gu

cs.AI

Аннотация

Использование силы данных, аннотированных человеком, посредством контролируемой тонкой настройки (Supervised Fine-Tuning, SFT) является ключевым для развития крупных языковых моделей (Large Language Models, LLMs). В данной статье мы исследуем возможность превращения слабой LLM в мощную без необходимости получения дополнительных данных, аннотированных человеком. Мы предлагаем новый метод тонкой настройки под названием Self-Play fIne-tuNing (SPIN), который начинается с модели, прошедшей контролируемую тонкую настройку. В основе SPIN лежит механизм самоигры, в рамках которого LLM совершенствует свои способности, играя против собственных экземпляров. Более конкретно, LLM генерирует свои собственные обучающие данные на основе предыдущих итераций, улучшая свою политику, различая эти самостоятельно сгенерированные ответы и те, что получены из данных, аннотированных человеком. Наш метод постепенно превращает LLM из начальной модели в мощную, раскрывая весь потенциал данных, аннотированных человеком, для SFT. Теоретически мы доказываем, что глобальный оптимум целевой функции обучения нашего метода достигается только тогда, когда политика LLM соответствует целевому распределению данных. Эмпирически мы оцениваем наш метод на нескольких эталонных наборах данных, включая HuggingFace Open LLM Leaderboard, MT-Bench и наборы данных из Big-Bench. Наши результаты показывают, что SPIN может значительно улучшить производительность LLM на различных тестах и даже превзойти модели, обученные с помощью прямой оптимизации предпочтений (Direct Preference Optimization, DPO), дополненной дополнительными данными предпочтений GPT-4. Это открывает перспективы для самоигры, позволяя достичь уровня производительности, сопоставимого с человеческим, в LLM без необходимости участия экспертов-оппонентов.

English

Harnessing the power of human-annotated data through Supervised Fine-Tuning (SFT) is pivotal for advancing Large Language Models (LLMs). In this paper, we delve into the prospect of growing a strong LLM out of a weak one without the need for acquiring additional human-annotated data. We propose a new fine-tuning method called Self-Play fIne-tuNing (SPIN), which starts from a supervised fine-tuned model. At the heart of SPIN lies a self-play mechanism, where the LLM refines its capability by playing against instances of itself. More specifically, the LLM generates its own training data from its previous iterations, refining its policy by discerning these self-generated responses from those obtained from human-annotated data. Our method progressively elevates the LLM from a nascent model to a formidable one, unlocking the full potential of human-annotated demonstration data for SFT. Theoretically, we prove that the global optimum to the training objective function of our method is achieved only when the LLM policy aligns with the target data distribution. Empirically, we evaluate our method on several benchmark datasets including the HuggingFace Open LLM Leaderboard, MT-Bench, and datasets from Big-Bench. Our results show that SPIN can significantly improve the LLM's performance across a variety of benchmarks and even outperform models trained through direct preference optimization (DPO) supplemented with extra GPT-4 preference data. This sheds light on the promise of self-play, enabling the achievement of human-level performance in LLMs without the need for expert opponents.