Farzi Data: Distillazione Autoregressiva dei Dati

Farzi Data: Autoregressive Data Distillation

October 15, 2023

Autori: Noveen Sachdeva, Zexue He, Wang-Cheng Kang, Jianmo Ni, Derek Zhiyuan Cheng, Julian McAuley

cs.AI

Abstract

Studiamo la distillazione di dati per task di apprendimento automatico auto-regressivi, in cui l'input e l'output hanno una struttura causale strettamente da sinistra a destra. Più specificamente, proponiamo Farzi, che sintetizza un dataset di sequenze di eventi in un numero ridotto di sequenze sintetiche -- i Dati Farzi -- ottimizzati per mantenere (se non migliorare) le prestazioni del modello rispetto all'addestramento sul dataset completo. Internamente, Farzi esegue la distillazione dei dati in modo efficiente in termini di memoria (i) derivando una differenziazione in modalità inversa efficiente dell'ottimizzatore Adam sfruttando i Prodotti Hessiano-Vettore; e (ii) fattorizzando lo spazio degli eventi discreto ad alta dimensionalità in uno spazio latente che promuove in modo dimostrabile una regolarizzazione implicita. Empiricamente, per task di raccomandazione sequenziale e modellazione del linguaggio, siamo in grado di raggiungere il 98-120% delle prestazioni ottenute con il dataset completo quando addestriamo modelli all'avanguardia sui Dati Farzi di dimensioni pari a solo lo 0,1% del dataset originale. È degno di nota che la possibilità di addestrare modelli migliori con significativamente meno dati getta luce sulla progettazione di futuri modelli auto-regressivi di grandi dimensioni e apre nuove opportunità per scalare ulteriormente le dimensioni dei modelli e dei dati.

English

We study data distillation for auto-regressive machine learning tasks, where the input and output have a strict left-to-right causal structure. More specifically, we propose Farzi, which summarizes an event sequence dataset into a small number of synthetic sequences -- Farzi Data -- which are optimized to maintain (if not improve) model performance compared to training on the full dataset. Under the hood, Farzi conducts memory-efficient data distillation by (i) deriving efficient reverse-mode differentiation of the Adam optimizer by leveraging Hessian-Vector Products; and (ii) factorizing the high-dimensional discrete event-space into a latent-space which provably promotes implicit regularization. Empirically, for sequential recommendation and language modeling tasks, we are able to achieve 98-120% of downstream full-data performance when training state-of-the-art models on Farzi Data of size as little as 0.1% of the original dataset. Notably, being able to train better models with significantly less data sheds light on the design of future large auto-regressive models, and opens up new opportunities to further scale up model and data sizes.