WARP : Analyse de l'espace des poids pour la récupération des portfolios de données d'entraînement

Résumé

Les modèles fondamentaux sont régulièrement diffusés auprès du public, mais les recettes de données utilisées pour les entraîner – telles que les poids de mélange de domaines déterminant l'échantillonnage de différentes sources – sont rarement divulguées. Cela crée une asymétrie d'accès : les chercheurs étudient les modèles résultants mais manquent de visibilité sur la distribution d'entraînement qui les produit. Les travaux antérieurs pour inférer les données d'entraînement, comme l'inférence d'appartenance, opèrent au niveau des échantillons individuels et ne peuvent donc pas caractériser la composition globale du corpus d'entraînement. Nous introduisons WARP, un cadre qui reconstitue les mélanges d'entraînement d'un modèle affiné directement à partir de ses poids diffusés. WARP interpole entre le modèle de base et le modèle affiné par fusion de modèles, générant des pseudo-points de contrôle qui se rapprochent de la trajectoire d'entraînement manquante et exposent une empreinte géométrique des données d'entraînement dans l'espace des poids. À partir de ces empreintes simulées, WARP extrait des caractéristiques géométriques et les mappe vers les proportions de domaines à l'aide soit d'une lecture softmax sans paramètre, soit d'un projecteur MLP entraîné sur des mélanges synthétiques. Dans des expériences contrôlées avec BERT et GPT-2, WARP retrouve les mélanges de domaines avec une MAE moyenne aussi basse que 0,046 et 0,104 respectivement, surpassant l'inférence d'appartenance et une variante ayant accès à la véritable trajectoire d'entraînement.

English

Foundation models are routinely released to the public, yet the data recipes used to train them -- such as domain mixture weights that determine how different sources are sampled -- are rarely disclosed. This creates an access asymmetry: researchers study the resulting models but lack visibility into the training distribution that produces them. Prior works for inferring training data, such as membership inference, detect at the level of individual samples and thus cannot characterize the global composition of the training corpus. We introduce WARP, a framework that recovers a fine-tuned model's training mixtures directly from its released weights. WARP interpolates between the base and fine-tuned models using model merging, generating pseudo-checkpoints that approximate the missing training trajectory and expose a geometric footprint of the training data in the weight space. From these simulated footprints, WARP extracts geometric features and maps them to domain proportions using either a parameter-free softmax readout or an MLP projector trained on synthetic mixtures. In controlled experiments with BERT and GPT-2, WARP recovers domain mixtures with an average MAE as low as 0.046 and 0.104 respectively, outperforming membership inference and a variant with access to the true training trajectory.