Farzi Data: Autoregressive Datenverdichtung

Farzi Data: Autoregressive Data Distillation

October 15, 2023

Autoren: Noveen Sachdeva, Zexue He, Wang-Cheng Kang, Jianmo Ni, Derek Zhiyuan Cheng, Julian McAuley

cs.AI

Zusammenfassung

Wir untersuchen Data Distillation für autoregressive Machine-Learning-Aufgaben, bei denen die Eingabe und Ausgabe eine strikte links-nach-rechts-Kausalstruktur aufweisen. Genauer gesagt schlagen wir Farzi vor, das ein Ereignissequenz-Datensatz in eine kleine Anzahl synthetischer Sequenzen – Farzi Data – zusammenfasst, die so optimiert sind, dass die Modellleistung im Vergleich zum Training auf dem vollständigen Datensatz erhalten (wenn nicht sogar verbessert) wird. Im Kern führt Farzi speichereffiziente Data Distillation durch, indem (i) eine effiziente Reverse-Mode-Differenzierung des Adam-Optimierers durch die Nutzung von Hessian-Vector-Produkten abgeleitet wird; und (ii) der hochdimensionale diskrete Ereignisraum in einen latenten Raum faktorisiert wird, der nachweislich implizite Regularisierung fördert. Empirisch erreichen wir für sequenzielle Empfehlungs- und Sprachmodellierungsaufgaben 98-120 % der Downstream-Leistung des vollständigen Datensatzes, wenn State-of-the-Art-Modelle auf Farzi Data trainiert werden, das nur 0,1 % der Größe des ursprünglichen Datensatzes beträgt. Bemerkenswerterweise wirft die Möglichkeit, bessere Modelle mit deutlich weniger Daten zu trainieren, ein Licht auf die Gestaltung zukünftiger großer autoregressiver Modelle und eröffnet neue Möglichkeiten, Modell- und Datengrößen weiter zu skalieren.

English

We study data distillation for auto-regressive machine learning tasks, where the input and output have a strict left-to-right causal structure. More specifically, we propose Farzi, which summarizes an event sequence dataset into a small number of synthetic sequences -- Farzi Data -- which are optimized to maintain (if not improve) model performance compared to training on the full dataset. Under the hood, Farzi conducts memory-efficient data distillation by (i) deriving efficient reverse-mode differentiation of the Adam optimizer by leveraging Hessian-Vector Products; and (ii) factorizing the high-dimensional discrete event-space into a latent-space which provably promotes implicit regularization. Empirically, for sequential recommendation and language modeling tasks, we are able to achieve 98-120% of downstream full-data performance when training state-of-the-art models on Farzi Data of size as little as 0.1% of the original dataset. Notably, being able to train better models with significantly less data sheds light on the design of future large auto-regressive models, and opens up new opportunities to further scale up model and data sizes.