WARP: 重み空間解析による訓練データポートフォリオの復元

要旨

基盤モデルは日常的に公開されているが、その訓練に用いられるデータレシピ、すなわち異なるデータソースのサンプリング比率を決定するドメイン混合比率が開示されることはほとんどない。このことは非対称な情報アクセスを生み出している。すなわち、研究者は結果として得られたモデルを研究する一方で、そのモデルを生み出した訓練分布の内訳を把握することができないのである。訓練データを推定する従来の研究（メンバーシップ推論など）は、個々のサンプルレベルでの検出に留まり、訓練コーパスの全体的な構成を特徴付けることは不可能であった。本稿では、公開された重みからファインチューニングされたモデルの訓練混合比率を直接復元するフレームワークWARPを提案する。WARPはモデルマージを用いてベースモデルとファインチューニング済みモデルを補間し、欠落した訓練軌跡を近似し、重み空間における訓練データの幾何学的なフットプリントを露呈する擬似チェックポイントを生成する。これらのシミュレートされたフットプリントから、WARPは幾何学的特徴を抽出し、パラメータフリーのソフトマックス読み出し、または合成混合比率で学習されたMLPプロジェクタを用いて、それらの特徴をドメイン比率にマッピングする。BERTおよびGPT-2を用いた制御実験において、WARPはドメイン混合比率を平均MAEでそれぞれ0.046および0.104という低い値で復元し、メンバーシップ推論や真の訓練軌跡にアクセスできる変種を上回る性能を示した。

English

Foundation models are routinely released to the public, yet the data recipes used to train them -- such as domain mixture weights that determine how different sources are sampled -- are rarely disclosed. This creates an access asymmetry: researchers study the resulting models but lack visibility into the training distribution that produces them. Prior works for inferring training data, such as membership inference, detect at the level of individual samples and thus cannot characterize the global composition of the training corpus. We introduce WARP, a framework that recovers a fine-tuned model's training mixtures directly from its released weights. WARP interpolates between the base and fine-tuned models using model merging, generating pseudo-checkpoints that approximate the missing training trajectory and expose a geometric footprint of the training data in the weight space. From these simulated footprints, WARP extracts geometric features and maps them to domain proportions using either a parameter-free softmax readout or an MLP projector trained on synthetic mixtures. In controlled experiments with BERT and GPT-2, WARP recovers domain mixtures with an average MAE as low as 0.046 and 0.104 respectively, outperforming membership inference and a variant with access to the true training trajectory.