Farzi Data : Distillation de données autorégressive

Farzi Data: Autoregressive Data Distillation

October 15, 2023

Auteurs: Noveen Sachdeva, Zexue He, Wang-Cheng Kang, Jianmo Ni, Derek Zhiyuan Cheng, Julian McAuley

cs.AI

Résumé

Nous étudions la distillation de données pour les tâches d'apprentissage automatique auto-régressives, où l'entrée et la sortie possèdent une structure causale stricte de gauche à droite. Plus précisément, nous proposons Farzi, qui résume un ensemble de données de séquences d'événements en un petit nombre de séquences synthétiques — les Farzi Data — optimisées pour maintenir (voire améliorer) les performances du modèle par rapport à un entraînement sur l'ensemble complet des données. En coulisses, Farzi réalise une distillation de données efficace en mémoire en (i) dérivant une différenciation en mode inverse efficace de l'optimiseur Adam en exploitant les produits Hessien-Vecteur ; et (ii) en factorisant l'espace discret à haute dimension des événements en un espace latent qui favorise de manière prouvée une régularisation implicite. Empiriquement, pour les tâches de recommandation séquentielle et de modélisation du langage, nous parvenons à atteindre 98 à 120 % des performances obtenues avec l'ensemble complet des données lors de l'entraînement de modèles de pointe sur des Farzi Data dont la taille représente aussi peu que 0,1 % de l'ensemble de données original. Notamment, la capacité à entraîner de meilleurs modèles avec significativement moins de données éclaire la conception des futurs grands modèles auto-régressifs et ouvre de nouvelles opportunités pour augmenter davantage la taille des modèles et des données.

English

We study data distillation for auto-regressive machine learning tasks, where the input and output have a strict left-to-right causal structure. More specifically, we propose Farzi, which summarizes an event sequence dataset into a small number of synthetic sequences -- Farzi Data -- which are optimized to maintain (if not improve) model performance compared to training on the full dataset. Under the hood, Farzi conducts memory-efficient data distillation by (i) deriving efficient reverse-mode differentiation of the Adam optimizer by leveraging Hessian-Vector Products; and (ii) factorizing the high-dimensional discrete event-space into a latent-space which provably promotes implicit regularization. Empirically, for sequential recommendation and language modeling tasks, we are able to achieve 98-120% of downstream full-data performance when training state-of-the-art models on Farzi Data of size as little as 0.1% of the original dataset. Notably, being able to train better models with significantly less data sheds light on the design of future large auto-regressive models, and opens up new opportunities to further scale up model and data sizes.