影響マッチングによるデータセット蒸留

要旨

我々は、データセット蒸留を結果中心の観点から再検討する。プロセス代理変数（各ステップの勾配や訓練軌跡）を整合させる代わりに、Influence Matching (Inf-Match) は訓練の最終結果を整合させる。すなわち、収束パラメータへの影響が完全なデータセットと一致するような、コンパクトな合成セットを学習する。具体的には、データ追加・削除によるパラメータ変化を定量化する、完全微分可能かつサンプルレベルの影響推定器を導入する。この推定器は、時間のかかる逆ヘッセ行列積や凸性仮定を必要とせず、最適化ダイナミクスを展開し一次テイラー近似を適用することで線形時間で動作する。そして、合成セットの影響と実データセットの影響との間の不一致を最小化することで合成セットを学習し、結果の整合を達成する。これは、ヒューリスティックなプロセス模倣ではなく、結果に基づいた整合である。Inf-Match は標準的な分類ベンチマークにおいて最高の精度を達成する。例えば、Tiny-ImageNet (IPC=10) では 31.5% を達成し、NCFM を +4.7% 上回る。分類を超えて、Inf-Match は Flickr30K における視覚言語蒸留にも適用可能であり、強力なプロセス整合ベースラインを凌駕する。例えば、200〜1000 の合成サンプルを用いた場合、本手法は画像・テキスト検索タスクにおいて優れた平均性能を達成し、NCFM より 2.5% 高い結果を示した。コードは https://github.com/hrtan/infmatch から公開予定である。

English

We revisit dataset distillation from an outcome-centric perspective. Rather than aligning process surrogates (per-step gradients or training trajectories), Influence Matching (Inf-Match) aligns the final outcome of training: it learns a compact synthetic set whose effect on the converged parameters matches that of the full dataset. Concretely, we introduce a fully differentiable, sample-level influence estimator that quantifies parameter shifts from adding or removing data, without time-consuming inverse-Hessian products or convexity assumptions. The estimator runs in linear time by unrolling the optimization dynamics and applying a first-order Taylor approximation. We then learn the synthetic set by minimizing the mismatch between its influence and that of the real dataset, yielding outcome alignment rather than heuristic process imitation. Inf-Match delivers the best accuracy across standard classification benchmarks. For instance, on Tiny-ImageNet (IPC=10), Inf-Match attains 31.5\%, a +4.7\% improvement over NCFM. Beyond classification, Inf-Match scales to vision-language distillation on Flickr30K, outperforming strong process-matching baselines. For instance, with 200 to 1000 synthetic samples, our method achieved a leading impressive average on image/text retrieval tasks, higher than NCFM by 2.5\%. The code will be released via https://github.com/hrtan/infmatch.