Tabby: Synthese van tabelgegevens met taalmodelen

Tabby: Tabular Data Synthesis with Language Models

March 4, 2025

Auteurs: Sonia Cromp, Satya Sai Srinath Namburi GNVV, Mohammed Alkhudhayri, Catherine Cao, Samuel Guo, Nicholas Roberts, Frederic Sala

cs.AI

Samenvatting

Hoewel vooruitgang in grote taalmodellen (LLM's) de kwaliteit van synthetische tekstgegevens de afgelopen jaren aanzienlijk heeft verbeterd, heeft het synthetiseren van tabelgegevens relatief minder aandacht gekregen. Wij pakken deze ongelijkheid aan met Tabby, een eenvoudige maar krachtige aanpassing na de training van het standaard Transformer-taalmodelarchitectuur, waardoor het geschikt wordt voor het synthetiseren van tabelgegevens. Tabby maakt het mogelijk om verschillen tussen kolommen weer te geven met behulp van Gated Mixture-of-Experts, met kolomspecifieke sets parameters. Empirisch gezien resulteert Tabby in een gegevenskwaliteit die bijna of gelijk is aan die van echte gegevens. Door onze nieuwe LLM-tabeltrainingsmethode, Plain, te combineren met Tabby, observeren we een kwaliteitsverbetering van tot wel 44% ten opzichte van eerdere methoden. We laten ook zien dat Tabby zich uitstrekt voorbij tabellen naar meer algemene gestructureerde gegevens, waarbij het evenaart met echte gegevens op een geneste JSON-dataset.

English

While advances in large language models (LLMs) have greatly improved the quality of synthetic text data in recent years, synthesizing tabular data has received relatively less attention. We address this disparity with Tabby, a simple but powerful post-training modification to the standard Transformer language model architecture, enabling its use for tabular dataset synthesis. Tabby enables the representation of differences across columns using Gated Mixture-of-Experts, with column-specific sets of parameters. Empirically, Tabby results in data quality near or equal to that of real data. By pairing our novel LLM table training technique, Plain, with Tabby, we observe up to a 44% improvement in quality over previous methods. We also show that Tabby extends beyond tables to more general structured data, reaching parity with real data on a nested JSON dataset as well.