SFTMix: Повышение настройки инструкции языковой модели с помощью рецепта Mixup.

SFTMix: Elevating Language Model Instruction Tuning with Mixup Recipe

October 7, 2024

Авторы: Yuxin Xiao, Shujian Zhang, Wenxuan Zhou, Marzyeh Ghassemi, Sanqiang Zhao

cs.AI

Аннотация

Для индукции желаемых поведенческих характеристик в больших языковых моделях (LLM) для задач, требующих взаимодействия, этап настройки инструкций обычно обучает LLM на парах инструкция-ответ с использованием потерь предсказания следующего токена (NTP). Предыдущие исследования, направленные на улучшение производительности настройки инструкций, часто подчеркивают необходимость более качественных наборов данных для надзорного тонкой настройки (SFT), которые обычно включают дорогостоящую фильтрацию данных с использованием собственных LLM или трудоемкую генерацию данных аннотаторами. Однако эти подходы не полностью используют внутренние свойства наборов данных, что приводит к высоким вычислительным и трудовым затратам, тем самым ограничивая масштабируемость и улучшение производительности. В данной статье мы предлагаем SFTMix, новый метод, который повышает производительность настройки инструкций за пределами традиционной парадигмы NTP, без необходимости в хорошо подготовленных наборах данных. Наблюдая, что LLM проявляют неравномерную уверенность в пространстве семантического представления, мы считаем, что примеры с разными уровнями уверенности должны играть разные роли в процессе настройки инструкций. Основываясь на этом понимании, SFTMix использует динамику обучения для идентификации примеров с разными уровнями уверенности, затем применяет регуляризацию на основе Mixup для смягчения переобучения на уверенных примерах, одновременно распространяя сигналы надзора для улучшения обучения на относительно неуверенных. Этот подход позволяет SFTMix значительно превзойти NTP в широком диапазоне задач следования инструкциям и специфических для области здравоохранения задач SFT, демонстрируя его адаптивность к различным семействам LLM и масштабируемость к наборам данных любого размера. Комплексные исследования абляции дополнительно подтверждают устойчивость выборов дизайна SFTMix, подчеркивая его универсальность в последовательном улучшении производительности на различных LLM и наборах данных в более широких приложениях обработки естественного языка.

English

To induce desired behaviors in large language models (LLMs) for interaction-driven tasks, the instruction-tuning stage typically trains LLMs on instruction-response pairs using the next-token prediction (NTP) loss. Previous work aiming to improve instruction-tuning performance often emphasizes the need for higher-quality supervised fine-tuning (SFT) datasets, which typically involves expensive data filtering with proprietary LLMs or labor-intensive data generation by human annotators. However, these approaches do not fully leverage the datasets' intrinsic properties, resulting in high computational and labor costs, thereby limiting scalability and performance gains. In this paper, we propose SFTMix, a novel recipe that elevates instruction-tuning performance beyond the conventional NTP paradigm, without the need for well-curated datasets. Observing that LLMs exhibit uneven confidence across the semantic representation space, we argue that examples with different confidence levels should play distinct roles during the instruction-tuning process. Based on this insight, SFTMix leverages training dynamics to identify examples with varying confidence levels, then applies a Mixup-based regularization to mitigate overfitting on confident examples while propagating supervision signals to improve learning on relatively unconfident ones. This approach enables SFTMix to significantly outperform NTP across a wide range of instruction-following and healthcare domain-specific SFT tasks, demonstrating its adaptability to diverse LLM families and scalability to datasets of any size. Comprehensive ablation studies further verify the robustness of SFTMix's design choices, underscoring its versatility in consistently enhancing performance across different LLMs and datasets in broader natural language processing applications.