WARP: Análisis del Espacio de Pesos para la Recuperación de Portafolios de Datos de Entrenamiento

Resumen

Los modelos fundacionales se publican rutinariamente al público, sin embargo, las recetas de datos utilizadas para entrenarlos —como los pesos de mezcla de dominios que determinan cómo se muestrean diferentes fuentes— rara vez se divulgan. Esto crea una asimetría de acceso: los investigadores estudian los modelos resultantes pero carecen de visibilidad sobre la distribución de entrenamiento que los produce. Trabajos previos para inferir datos de entrenamiento, como la inferencia de membresía, detectan a nivel de muestras individuales y, por lo tanto, no pueden caracterizar la composición global del corpus de entrenamiento. Presentamos WARP, un marco que recupera las mezclas de entrenamiento de un modelo ajustado directamente a partir de sus pesos publicados. WARP interpola entre el modelo base y el ajustado mediante fusión de modelos, generando pseudo-puntos de control que aproximan la trayectoria de entrenamiento faltante y exponen una huella geométrica de los datos de entrenamiento en el espacio de pesos. A partir de estas huellas simuladas, WARP extrae características geométricas y las mapea a proporciones de dominio utilizando ya sea una lectura softmax libre de parámetros o un proyector MLP entrenado con mezclas sintéticas. En experimentos controlados con BERT y GPT-2, WARP recupera las mezclas de dominio con un MAE promedio tan bajo como 0.046 y 0.104 respectivamente, superando a la inferencia de membresía y a una variante con acceso a la trayectoria de entrenamiento real.

English

Foundation models are routinely released to the public, yet the data recipes used to train them -- such as domain mixture weights that determine how different sources are sampled -- are rarely disclosed. This creates an access asymmetry: researchers study the resulting models but lack visibility into the training distribution that produces them. Prior works for inferring training data, such as membership inference, detect at the level of individual samples and thus cannot characterize the global composition of the training corpus. We introduce WARP, a framework that recovers a fine-tuned model's training mixtures directly from its released weights. WARP interpolates between the base and fine-tuned models using model merging, generating pseudo-checkpoints that approximate the missing training trajectory and expose a geometric footprint of the training data in the weight space. From these simulated footprints, WARP extracts geometric features and maps them to domain proportions using either a parameter-free softmax readout or an MLP projector trained on synthetic mixtures. In controlled experiments with BERT and GPT-2, WARP recovers domain mixtures with an average MAE as low as 0.046 and 0.104 respectively, outperforming membership inference and a variant with access to the true training trajectory.