Меньше — достаточно: синтез разнородных данных в пространстве признаков больших языковых моделей

Less is Enough: Synthesizing Diverse Data in Feature Space of LLMs

February 11, 2026

Авторы: Zhongzhi Li, Xuansheng Wu, Yijiang Li, Lijie Hu, Ninghao Liu

cs.AI

Аннотация

Разнообразие данных пост-обучения критически важно для эффективной работы больших языковых моделей (LLM) на последующих задачах. Многие существующие подходы к формированию таких данных оценивают разнообразие с помощью текстовых метрик, фиксирующих лингвистические вариации, однако эти метрики дают лишь слабые сигналы о признаках, релевантных для конкретных задач, которые и определяют итоговую производительность. В данной работе мы представляем метрику покрытия активации признаков (Feature Activation Coverage, FAC), которая измеряет разнообразие данных в интерпретируемом пространстве признаков. На основе этой метрики мы далее предлагаем фреймворк синтеза данных, управляемый разнообразием, под названием FAC Synthesis, который сначала использует разреженный автоэнкодер для выявления недостающих признаков в исходном наборе данных, а затем генерирует синтетические примеры, явно отражающие эти признаки. Эксперименты показывают, что наш подход последовательно улучшает как разнообразие данных, так и результаты решения различных задач, включая следование инструкциям, детекцию токсичности, моделирование вознаграждения и управление поведением. Примечательно, что мы выявили общее интерпретируемое пространство признаков для разных семейств моделей (таких как LLaMA, Mistral и Qwen), что позволяет осуществлять межмодельный перенос знаний. Наша работа предлагает надежную и практичную методологию для исследования центрированной на данных оптимизации больших языковых моделей.

English

The diversity of post-training data is critical for effective downstream performance in large language models (LLMs). Many existing approaches to constructing post-training data quantify diversity using text-based metrics that capture linguistic variation, but such metrics provide only weak signals for the task-relevant features that determine downstream performance. In this work, we introduce Feature Activation Coverage (FAC) which measures data diversity in an interpretable feature space. Building upon this metric, we further propose a diversity-driven data synthesis framework, named FAC Synthesis, that first uses a sparse autoencoder to identify missing features from a seed dataset, and then generates synthetic samples that explicitly reflect these features. Experiments show that our approach consistently improves both data diversity and downstream performance on various tasks, including instruction following, toxicity detection, reward modeling, and behavior steering. Interestingly, we identify a shared, interpretable feature space across model families (i.e., LLaMA, Mistral, and Qwen), enabling cross-model knowledge transfer. Our work provides a solid and practical methodology for exploring data-centric optimization of LLMs.