Generatie van Tabulaire Gegevens met Behulp van Binaire Diffusie

Tabular Data Generation using Binary Diffusion

September 20, 2024

Auteurs: Vitaliy Kinakh, Slava Voloshynovskiy

cs.AI

Samenvatting

Het genereren van synthetische tabulaire data is cruciaal in machine learning, vooral wanneer echte data beperkt of gevoelig is. Traditionele generatieve modellen ondervinden vaak uitdagingen door de unieke kenmerken van tabulaire data, zoals gemengde datatypen en gevarieerde verdelingen, en vereisen complexe voorverwerking of grote vooraf getrainde modellen. In dit artikel introduceren we een nieuw, verliesvrij binair transformatiemethode die elke tabulaire data omzet in binaire representaties van vaste grootte, en een bijbehorend nieuw generatief model genaamd Binaire Diffusie, specifiek ontworpen voor binaire data. Binaire Diffusie maakt gebruik van de eenvoud van XOR-operaties voor ruis toevoeging en verwijdering en maakt gebruik van binaire kruis-entropie verlies voor training. Onze benadering elimineert de noodzaak voor uitgebreide voorverwerking, complexe ruisparameterafstemming en vooraf trainen op grote datasets. We evalueren ons model op verschillende populaire tabulaire benchmark datasets, waarbij we aantonen dat Binaire Diffusie beter presteert dan bestaande state-of-the-art modellen op de datasets van Reizen, Inkomen van Volwassenen en Diabetes, terwijl het aanzienlijk kleiner is in omvang.

English

Generating synthetic tabular data is critical in machine learning, especially when real data is limited or sensitive. Traditional generative models often face challenges due to the unique characteristics of tabular data, such as mixed data types and varied distributions, and require complex preprocessing or large pretrained models. In this paper, we introduce a novel, lossless binary transformation method that converts any tabular data into fixed-size binary representations, and a corresponding new generative model called Binary Diffusion, specifically designed for binary data. Binary Diffusion leverages the simplicity of XOR operations for noise addition and removal and employs binary cross-entropy loss for training. Our approach eliminates the need for extensive preprocessing, complex noise parameter tuning, and pretraining on large datasets. We evaluate our model on several popular tabular benchmark datasets, demonstrating that Binary Diffusion outperforms existing state-of-the-art models on Travel, Adult Income, and Diabetes datasets while being significantly smaller in size.