WARP: Gewichtsraum-Analyse zur Wiederherstellung von Trainingsdatenportfolios

Zusammenfassung

Grundlagenmodelle werden routinemäßig der Öffentlichkeit zugänglich gemacht, doch die Datenrezepte, die zu ihrem Training verwendet werden – etwa die Domänenmischungsgewichte, die bestimmen, wie verschiedene Quellen abgetastet werden – werden selten offengelegt. Dies schafft eine Asymmetrie beim Zugang: Forscher untersuchen die resultierenden Modelle, haben jedoch keine Einsicht in die Trainingsverteilung, die sie hervorbringt. Bisherige Arbeiten zur Inferenz von Trainingsdaten, wie etwa die Mitgliedschaftsinferenz, erkennen diese auf der Ebene einzelner Stichproben und können daher die globale Zusammensetzung des Trainingskorpus nicht charakterisieren. Wir stellen WARP vor, ein Framework, das die Trainingsmischungen eines feinabgestimmten Modells direkt aus dessen veröffentlichten Gewichten rekonstruiert. WARP interpoliert zwischen dem Basis- und dem feinabgestimmten Modell mittels Modellzusammenführung, erzeugt Pseudo-Checkpoints, die den fehlenden Trainingsverlauf annähern, und legt einen geometrischen Fußabdruck der Trainingsdaten im Gewichtsraum frei. Aus diesen simulierten Fußabdrücken extrahiert WARP geometrische Merkmale und bildet diese auf Domänenanteile ab, entweder mittels einer parameterfreien Softmax-Auslese oder eines MLP-Projektors, der auf synthetischen Mischungen trainiert wurde. In kontrollierten Experimenten mit BERT und GPT-2 rekonstruiert WARP Domänenmischungen mit einem durchschnittlichen MAE von nur 0,046 bzw. 0,104 und übertrifft damit die Mitgliedschaftsinferenz sowie eine Variante, die Zugang zum tatsächlichen Trainingsverlauf hat.

English

Foundation models are routinely released to the public, yet the data recipes used to train them -- such as domain mixture weights that determine how different sources are sampled -- are rarely disclosed. This creates an access asymmetry: researchers study the resulting models but lack visibility into the training distribution that produces them. Prior works for inferring training data, such as membership inference, detect at the level of individual samples and thus cannot characterize the global composition of the training corpus. We introduce WARP, a framework that recovers a fine-tuned model's training mixtures directly from its released weights. WARP interpolates between the base and fine-tuned models using model merging, generating pseudo-checkpoints that approximate the missing training trajectory and expose a geometric footprint of the training data in the weight space. From these simulated footprints, WARP extracts geometric features and maps them to domain proportions using either a parameter-free softmax readout or an MLP projector trained on synthetic mixtures. In controlled experiments with BERT and GPT-2, WARP recovers domain mixtures with an average MAE as low as 0.046 and 0.104 respectively, outperforming membership inference and a variant with access to the true training trajectory.