적게도 충분하다: LLM 특징 공간에서 다양한 데이터의 합성

초록

대규모 언어 모델(LLM)의 효과적인 다운스트림 성능을 위해서는 사후 학습 데이터의 다양성이 매우 중요하다. 기존의 많은 사후 학습 데이터 구축 접근법은 언어적 변이를 포착하는 텍스트 기반 지표를 사용하여 다양성을 측정하지만, 이러한 지표는 다운스트림 성능을 결정하는 과업 관련 특징에 대해 약한 신호만을 제공한다. 본 연구에서는 해석 가능한 특징 공간에서 데이터 다양성을 측정하는 FAC(Feature Activation Coverage)를 제안한다. 이 지표를 바탕으로, 우리는 시드 데이터셋에서 누락된 특징을 희소 오토인코더로 식별한 후, 이러한 특징을 명시적으로 반영한 합성 샘플을 생성하는 다양성 주도 데이터 합성 프레임워크인 FAC Synthesis를 추가로 제안한다. 실험 결과, 우리의 접근법이 지시 따르기, 유해성 탐지, 보상 모델링, 행동 조종 등 다양한 과업에서 데이터 다양성과 다운스트림 성능을 모두 지속적으로 향상시키는 것으로 나타났다. 흥미롭게도, 우리는 LLaMA, Mistral, Qwen과 같은 다양한 모델 패밀리 간에 공유되는 해석 가능한 특징 공간을 확인하여 교차 모델 지식 전달이 가능함을 보였다. 본 연구는 LLM의 데이터 중심 최적화를 탐구하는 견고하고 실용적인 방법론을 제시한다.

English

The diversity of post-training data is critical for effective downstream performance in large language models (LLMs). Many existing approaches to constructing post-training data quantify diversity using text-based metrics that capture linguistic variation, but such metrics provide only weak signals for the task-relevant features that determine downstream performance. In this work, we introduce Feature Activation Coverage (FAC) which measures data diversity in an interpretable feature space. Building upon this metric, we further propose a diversity-driven data synthesis framework, named FAC Synthesis, that first uses a sparse autoencoder to identify missing features from a seed dataset, and then generates synthetic samples that explicitly reflect these features. Experiments show that our approach consistently improves both data diversity and downstream performance on various tasks, including instruction following, toxicity detection, reward modeling, and behavior steering. Interestingly, we identify a shared, interpretable feature space across model families (i.e., LLaMA, Mistral, and Qwen), enabling cross-model knowledge transfer. Our work provides a solid and practical methodology for exploring data-centric optimization of LLMs.

적게도 충분하다: LLM 특징 공간에서 다양한 데이터의 합성

Less is Enough: Synthesizing Diverse Data in Feature Space of LLMs

초록

Support