Generazione di Dati Tabulari tramite Diffusione Binaria

Tabular Data Generation using Binary Diffusion

September 20, 2024

Autori: Vitaliy Kinakh, Slava Voloshynovskiy

cs.AI

Abstract

La generazione di dati tabulari sintetici è fondamentale nell'apprendimento automatico, specialmente quando i dati reali sono limitati o sensibili. I modelli generativi tradizionali spesso affrontano sfide a causa delle caratteristiche uniche dei dati tabulari, come tipi di dati misti e distribuzioni varie, e richiedono complessi processi di preelaborazione o modelli preaddestrati di grandi dimensioni. In questo articolo, presentiamo un nuovo metodo di trasformazione binaria senza perdita che converte qualsiasi dato tabulare in rappresentazioni binarie di dimensioni fisse, e un nuovo modello generativo corrispondente chiamato Diffusione Binaria, progettato specificamente per dati binari. Diffusione Binaria sfrutta la semplicità delle operazioni XOR per l'aggiunta e la rimozione di rumore e utilizza la perdita binaria di entropia incrociata per l'addestramento. Il nostro approccio elimina la necessità di elaborazione estensiva, complessa regolazione dei parametri del rumore e preaddestramento su grandi set di dati. Valutiamo il nostro modello su diversi popolari set di dati di benchmark tabulari, dimostrando che la Diffusione Binaria supera i modelli all'avanguardia esistenti nei set di dati di Viaggi, Reddito Adulto e Diabete pur essendo significativamente più piccolo in dimensioni.

English

Generating synthetic tabular data is critical in machine learning, especially when real data is limited or sensitive. Traditional generative models often face challenges due to the unique characteristics of tabular data, such as mixed data types and varied distributions, and require complex preprocessing or large pretrained models. In this paper, we introduce a novel, lossless binary transformation method that converts any tabular data into fixed-size binary representations, and a corresponding new generative model called Binary Diffusion, specifically designed for binary data. Binary Diffusion leverages the simplicity of XOR operations for noise addition and removal and employs binary cross-entropy loss for training. Our approach eliminates the need for extensive preprocessing, complex noise parameter tuning, and pretraining on large datasets. We evaluate our model on several popular tabular benchmark datasets, demonstrating that Binary Diffusion outperforms existing state-of-the-art models on Travel, Adult Income, and Diabetes datasets while being significantly smaller in size.