Farzi Data: Autoregressieve Datadistillatie

Farzi Data: Autoregressive Data Distillation

October 15, 2023

Auteurs: Noveen Sachdeva, Zexue He, Wang-Cheng Kang, Jianmo Ni, Derek Zhiyuan Cheng, Julian McAuley

cs.AI

Samenvatting

We bestuderen datadistillatie voor auto-regressieve machine learning taken, waarbij de invoer en uitvoer een strikte links-naar-rechts causale structuur hebben. Meer specifiek stellen we Farzi voor, dat een dataset van gebeurtenisreeksen samenvat in een klein aantal synthetische reeksen – Farzi Data – die geoptimaliseerd zijn om de modelprestaties te behouden (zo niet te verbeteren) in vergelijking met training op de volledige dataset. Onder de motorkap voert Farzi geheugenefficiënte datadistillatie uit door (i) efficiënte reverse-mode differentiatie van de Adam-optimalisator af te leiden door gebruik te maken van Hessiaan-Vector Producten; en (ii) de hoogdimensionale discrete gebeurtenisruimte te factoriseren in een latente ruimte die bewezen impliciete regularisatie bevordert. Empirisch gezien kunnen we voor sequentiële aanbevelings- en taalmodelleringstaken 98-120% van de downstream prestaties met volledige data bereiken wanneer we state-of-the-art modellen trainen op Farzi Data van slechts 0,1% van de oorspronkelijke dataset. Het vermogen om betere modellen te trainen met aanzienlijk minder data werpt licht op het ontwerp van toekomstige grote auto-regressieve modellen en opent nieuwe mogelijkheden om model- en datagroottes verder op te schalen.

English

We study data distillation for auto-regressive machine learning tasks, where the input and output have a strict left-to-right causal structure. More specifically, we propose Farzi, which summarizes an event sequence dataset into a small number of synthetic sequences -- Farzi Data -- which are optimized to maintain (if not improve) model performance compared to training on the full dataset. Under the hood, Farzi conducts memory-efficient data distillation by (i) deriving efficient reverse-mode differentiation of the Adam optimizer by leveraging Hessian-Vector Products; and (ii) factorizing the high-dimensional discrete event-space into a latent-space which provably promotes implicit regularization. Empirically, for sequential recommendation and language modeling tasks, we are able to achieve 98-120% of downstream full-data performance when training state-of-the-art models on Farzi Data of size as little as 0.1% of the original dataset. Notably, being able to train better models with significantly less data sheds light on the design of future large auto-regressive models, and opens up new opportunities to further scale up model and data sizes.