WARP: 훈련 데이터 포트폴리오 복원을 위한 가중치 공간 분석

초록

파운데이션 모델이 일반적으로 대중에 공개되고 있음에도 불구하고, 서로 다른 데이터 소스의 샘플링 방식을 결정하는 도메인 혼합 가중치와 같은 학습 데이터 구성 레시피는 거의 공개되지 않는다. 이로 인해 접근 비대칭성이 발생한다. 즉, 연구자들은 결과 모델을 연구할 수 있지만, 해당 모델을 생성한 학습 분포의 구성을 파악할 수 없다. 멤버십 추론과 같은 학습 데이터 추론을 위한 기존 연구는 개별 샘플 수준에서 탐지하므로 학습 코퍼스의 전반적 구성을 특성화할 수 없다. 본 논문에서는 파인튜닝된 모델의 학습 혼합 비율을 공개된 가중치로부터 직접 복원하는 프레임워크인 WARP를 소개한다. WARP는 모델 병합을 사용하여 기본 모델과 파인튜닝된 모델 사이를 보간함으로써, 누락된 학습 궤적을 근사하고 가중치 공간에 학습 데이터의 기하학적 발자국을 노출하는 의사 체크포인트를 생성한다. 이러한 시뮬레이션된 발자국으로부터 WARP는 기하학적 특징을 추출하고, 이를 매개변수 없는 소프트맥스 판독기 또는 합성 혼합 비율로 학습된 MLP 프로젝터를 사용하여 도메인 비율로 매핑한다. BERT와 GPT-2를 사용한 통제된 실험에서 WARP는 각각 0.046과 0.104의 평균 MAE로 도메인 혼합 비율을 복원하여, 멤버십 추론 및 실제 학습 궤적에 접근 가능한 변형 모델보다 우수한 성능을 보였다.

English

Foundation models are routinely released to the public, yet the data recipes used to train them -- such as domain mixture weights that determine how different sources are sampled -- are rarely disclosed. This creates an access asymmetry: researchers study the resulting models but lack visibility into the training distribution that produces them. Prior works for inferring training data, such as membership inference, detect at the level of individual samples and thus cannot characterize the global composition of the training corpus. We introduce WARP, a framework that recovers a fine-tuned model's training mixtures directly from its released weights. WARP interpolates between the base and fine-tuned models using model merging, generating pseudo-checkpoints that approximate the missing training trajectory and expose a geometric footprint of the training data in the weight space. From these simulated footprints, WARP extracts geometric features and maps them to domain proportions using either a parameter-free softmax readout or an MLP projector trained on synthetic mixtures. In controlled experiments with BERT and GPT-2, WARP recovers domain mixtures with an average MAE as low as 0.046 and 0.104 respectively, outperforming membership inference and a variant with access to the true training trajectory.