Tabby: Sintesi di Dati Tabellari con Modelli Linguistici

Tabby: Tabular Data Synthesis with Language Models

March 4, 2025

Autori: Sonia Cromp, Satya Sai Srinath Namburi GNVV, Mohammed Alkhudhayri, Catherine Cao, Samuel Guo, Nicholas Roberts, Frederic Sala

cs.AI

Abstract

Mentre i progressi nei grandi modelli linguistici (LLM) hanno notevolmente migliorato la qualità dei dati testuali sintetici negli ultimi anni, la sintesi di dati tabellari ha ricevuto un'attenzione relativamente minore. Affrontiamo questa disparità con Tabby, una modifica semplice ma potente apportata post-addestramento all'architettura standard del modello linguistico Transformer, che ne consente l'utilizzo per la sintesi di dataset tabellari. Tabby permette la rappresentazione delle differenze tra le colonne utilizzando un Gated Mixture-of-Experts, con insiemi di parametri specifici per ciascuna colonna. Empiricamente, Tabby produce una qualità dei dati vicina o pari a quella dei dati reali. Abbinando la nostra innovativa tecnica di addestramento per tabelle LLM, Plain, con Tabby, osserviamo un miglioramento della qualità fino al 44% rispetto ai metodi precedenti. Mostriamo inoltre che Tabby si estende oltre le tabelle a dati strutturati più generici, raggiungendo la parità con i dati reali anche su un dataset JSON annidato.

English

While advances in large language models (LLMs) have greatly improved the quality of synthetic text data in recent years, synthesizing tabular data has received relatively less attention. We address this disparity with Tabby, a simple but powerful post-training modification to the standard Transformer language model architecture, enabling its use for tabular dataset synthesis. Tabby enables the representation of differences across columns using Gated Mixture-of-Experts, with column-specific sets of parameters. Empirically, Tabby results in data quality near or equal to that of real data. By pairing our novel LLM table training technique, Plain, with Tabby, we observe up to a 44% improvement in quality over previous methods. We also show that Tabby extends beyond tables to more general structured data, reaching parity with real data on a nested JSON dataset as well.