Как синтезировать текстовые данные без коллапса модели?

How to Synthesize Text Data without Model Collapse?

December 19, 2024

Авторы: Xuekai Zhu, Daixuan Cheng, Hengli Li, Kaiyan Zhang, Ermo Hua, Xingtai Lv, Ning Ding, Zhouhan Lin, Zilong Zheng, Bowen Zhou

cs.AI

Аннотация

Модельный коллапс в синтетических данных указывает на то, что итеративное обучение на самостоятельно созданных данных приводит к постепенному снижению производительности. С увеличением количества моделей искусственного интеллекта синтетические данные фундаментально изменят экосистему веб-данных. Будущие модели GPT-{n} будут неизбежно обучаться на смеси синтетических и человечески созданных данных. В данной статье мы сосредотачиваемся на двух вопросах: каково влияние синтетических данных на обучение языковых моделей и как синтезировать данные, избегая коллапса модели? Сначала мы предварительно обучаем языковые модели на различных пропорциях синтетических данных, выявляя отрицательную корреляцию между долей синтетических данных и производительностью модели. Далее мы проводим статистический анализ синтетических данных, чтобы выявить явление сдвига распределения и переизбыток n-граммных признаков. Вдохновленные вышеуказанными результатами, мы предлагаем редактирование токенов в человечески созданных данных для получения полусинтетических данных. В качестве доказательства концепции мы теоретически демонстрируем, что редактирование на уровне токенов может предотвратить коллапс модели, так как ошибка тестирования ограничена конечной верхней границей. Мы проводим обширные эксперименты по предварительному обучению с нуля, непрерывному предварительному обучению и надзорному дообучению. Результаты подтверждают наше теоретическое доказательство того, что редактирование на уровне токенов улучшает качество данных и повышает производительность модели.

English

Model collapse in synthetic data indicates that iterative training on self-generated data leads to a gradual decline in performance. With the proliferation of AI models, synthetic data will fundamentally reshape the web data ecosystem. Future GPT-{n} models will inevitably be trained on a blend of synthetic and human-produced data. In this paper, we focus on two questions: what is the impact of synthetic data on language model training, and how to synthesize data without model collapse? We first pre-train language models across different proportions of synthetic data, revealing a negative correlation between the proportion of synthetic data and model performance. We further conduct statistical analysis on synthetic data to uncover distributional shift phenomenon and over-concentration of n-gram features. Inspired by the above findings, we propose token editing on human-produced data to obtain semi-synthetic data. As a proof of concept, we theoretically demonstrate that token-level editing can prevent model collapse, as the test error is constrained by a finite upper bound. We conduct extensive experiments on pre-training from scratch, continual pre-training, and supervised fine-tuning. The results validate our theoretical proof that token-level editing improves data quality and enhances model performance.