WARP: анализ весового пространства для восстановления портфелей обучающих данных

Аннотация

Фундаментальные модели регулярно публикуются для широкого доступа, однако рецепты данных, используемые для их обучения — например, веса смеси доменов, определяющие, как выбираются различные источники, — редко раскрываются. Это создает асимметрию доступа: исследователи изучают результирующие модели, но не имеют представления о распределении обучающих данных, которое их порождает. Предыдущие работы по инференсу принадлежности к обучающей выборке, такие как membership inference, обнаруживают данные на уровне отдельных примеров и поэтому не могут охарактеризовать глобальный состав обучающего корпуса. Мы представляем WARP — фреймворк, который восстанавливает обучающие смеси точно настроенной модели непосредственно из ее опубликованных весов. WARP интерполирует между базовой и точно настроенной моделями с помощью слияния моделей, генерируя псевдо-контрольные точки, которые аппроксимируют отсутствующую траекторию обучения и выявляют геометрический след обучающих данных в пространстве весов. На основе этих смоделированных следов WARP извлекает геометрические признаки и отображает их в пропорции доменов, используя либо беcпараметрическое softmax-считывание, либо MLP-проектор, обученный на синтетических смесях. В контролируемых экспериментах с BERT и GPT-2 WARP восстанавливает смеси доменов со средней абсолютной ошибкой (MAE) до 0,046 и 0,104 соответственно, превосходя метод membership inference и его вариант с доступом к истинной траектории обучения.

English

Foundation models are routinely released to the public, yet the data recipes used to train them -- such as domain mixture weights that determine how different sources are sampled -- are rarely disclosed. This creates an access asymmetry: researchers study the resulting models but lack visibility into the training distribution that produces them. Prior works for inferring training data, such as membership inference, detect at the level of individual samples and thus cannot characterize the global composition of the training corpus. We introduce WARP, a framework that recovers a fine-tuned model's training mixtures directly from its released weights. WARP interpolates between the base and fine-tuned models using model merging, generating pseudo-checkpoints that approximate the missing training trajectory and expose a geometric footprint of the training data in the weight space. From these simulated footprints, WARP extracts geometric features and maps them to domain proportions using either a parameter-free softmax readout or an MLP projector trained on synthetic mixtures. In controlled experiments with BERT and GPT-2, WARP recovers domain mixtures with an average MAE as low as 0.046 and 0.104 respectively, outperforming membership inference and a variant with access to the true training trajectory.