영향 매칭을 통한 데이터셋 증류

초록

데이터셋 증류(data distillation)를 결과 중심 관점에서 재조명한다. 과정 대리자(per-step gradients 또는 training trajectories)를 정렬하는 대신, 영향 일치(Influence Matching, Inf-Match)는 훈련의 최종 결과를 정렬한다. 즉, 수렴된 매개변수에 대한 효과가 전체 데이터셋과 일치하는 소형 합성 세트를 학습한다. 구체적으로, 데이터 추가 또는 제거로 인한 매개변수 변화를 정량화하는 완전 미분 가능한 샘플 수준 영향 추정기를 도입한다. 이 추정기는 시간 소모적인 역헤세 행렬 곱이나 볼록성 가정 없이, 최적화 동역학을 풀고 1차 테일러 근사를 적용하여 선형 시간 내에 작동한다. 그런 다음 합성 세트의 영향과 실제 데이터셋의 영향 간 불일치를 최소화하여 합성 세트를 학습함으로써, 발견적 과정 모방이 아닌 결과 정렬을 달성한다. Inf-Match는 표준 분류 벤치마크에서 최고의 정확도를 제공한다. 예를 들어, Tiny-ImageNet(IPC=10)에서 Inf-Match는 31.5%를 달성하여 NCFM 대비 +4.7% 향상되었다. 분류를 넘어, Inf-Match는 Flickr30K에서의 시각-언어 증류로 확장되어 강력한 과정 일치 기준선을 능가한다. 예를 들어, 200~1000개의 합성 샘플을 사용하여, 본 방법은 이미지/텍스트 검색 작업에서 우수한 평균 성능을 기록했으며, NCFM보다 2.5% 높았다. 코드는 https://github.com/hrtan/infmatch 를 통해 공개될 예정이다.

English

We revisit dataset distillation from an outcome-centric perspective. Rather than aligning process surrogates (per-step gradients or training trajectories), Influence Matching (Inf-Match) aligns the final outcome of training: it learns a compact synthetic set whose effect on the converged parameters matches that of the full dataset. Concretely, we introduce a fully differentiable, sample-level influence estimator that quantifies parameter shifts from adding or removing data, without time-consuming inverse-Hessian products or convexity assumptions. The estimator runs in linear time by unrolling the optimization dynamics and applying a first-order Taylor approximation. We then learn the synthetic set by minimizing the mismatch between its influence and that of the real dataset, yielding outcome alignment rather than heuristic process imitation. Inf-Match delivers the best accuracy across standard classification benchmarks. For instance, on Tiny-ImageNet (IPC=10), Inf-Match attains 31.5\%, a +4.7\% improvement over NCFM. Beyond classification, Inf-Match scales to vision-language distillation on Flickr30K, outperforming strong process-matching baselines. For instance, with 200 to 1000 synthetic samples, our method achieved a leading impressive average on image/text retrieval tasks, higher than NCFM by 2.5\%. The code will be released via https://github.com/hrtan/infmatch.