Tabby : Synthèse de données tabulaires avec des modèles de langage

Tabby: Tabular Data Synthesis with Language Models

March 4, 2025

papers.authors: Sonia Cromp, Satya Sai Srinath Namburi GNVV, Mohammed Alkhudhayri, Catherine Cao, Samuel Guo, Nicholas Roberts, Frederic Sala

cs.AI

papers.abstract

Alors que les progrès des grands modèles de langage (LLMs) ont considérablement amélioré la qualité des données textuelles synthétiques ces dernières années, la synthèse de données tabulaires a reçu relativement moins d'attention. Nous abordons cette disparité avec Tabby, une modification simple mais puissante apportée après l'entraînement à l'architecture standard des modèles de langage Transformer, permettant son utilisation pour la synthèse de jeux de données tabulaires. Tabby permet la représentation des différences entre les colonnes en utilisant un mélange de portes d'experts (Gated Mixture-of-Experts), avec des ensembles de paramètres spécifiques à chaque colonne. Empiriquement, Tabby produit des données dont la qualité est proche ou égale à celle des données réelles. En associant notre nouvelle technique d'entraînement de tables LLM, Plain, à Tabby, nous observons une amélioration de la qualité allant jusqu'à 44 % par rapport aux méthodes précédentes. Nous montrons également que Tabby s'étend au-delà des tables à des données structurées plus générales, atteignant une parité avec les données réelles sur un jeu de données JSON imbriqué également.

English

While advances in large language models (LLMs) have greatly improved the quality of synthetic text data in recent years, synthesizing tabular data has received relatively less attention. We address this disparity with Tabby, a simple but powerful post-training modification to the standard Transformer language model architecture, enabling its use for tabular dataset synthesis. Tabby enables the representation of differences across columns using Gated Mixture-of-Experts, with column-specific sets of parameters. Empirically, Tabby results in data quality near or equal to that of real data. By pairing our novel LLM table training technique, Plain, with Tabby, we observe up to a 44% improvement in quality over previous methods. We also show that Tabby extends beyond tables to more general structured data, reaching parity with real data on a nested JSON dataset as well.