Tabellendatenerzeugung mittels binärer Diffusion.

Tabular Data Generation using Binary Diffusion

September 20, 2024

Autoren: Vitaliy Kinakh, Slava Voloshynovskiy

cs.AI

Zusammenfassung

Die Generierung synthetischer tabellarischer Daten ist in der KI-Forschung von entscheidender Bedeutung, insbesondere wenn echte Daten begrenzt oder sensibel sind. Traditionelle generative Modelle stoßen häufig auf Herausforderungen aufgrund der einzigartigen Merkmale tabellarischer Daten, wie gemischte Datentypen und unterschiedliche Verteilungen, und erfordern komplexe Vorverarbeitung oder große vorab trainierte Modelle. In diesem Paper stellen wir eine neuartige, verlustfreie binäre Transformationsmethode vor, die beliebige tabellarische Daten in binäre Darstellungen fester Größe umwandelt, sowie ein entsprechendes neues generatives Modell namens Binäre Diffusion, das speziell für binäre Daten entwickelt wurde. Binäre Diffusion nutzt die Einfachheit von XOR-Operationen zur Hinzufügung und Entfernung von Rauschen und verwendet binären Kreuzentropie-Verlust für das Training. Unser Ansatz beseitigt die Notwendigkeit umfangreicher Vorverarbeitung, komplexer Rauschparameterabstimmung und Vortrainings auf großen Datensätzen. Wir evaluieren unser Modell anhand mehrerer beliebter tabellarischer Benchmark-Datensätze und zeigen, dass Binäre Diffusion bestehende State-of-the-Art-Modelle auf den Datensätzen Travel, Adult Income und Diabetes übertrifft, während es signifikant kleiner ist.

English

Generating synthetic tabular data is critical in machine learning, especially when real data is limited or sensitive. Traditional generative models often face challenges due to the unique characteristics of tabular data, such as mixed data types and varied distributions, and require complex preprocessing or large pretrained models. In this paper, we introduce a novel, lossless binary transformation method that converts any tabular data into fixed-size binary representations, and a corresponding new generative model called Binary Diffusion, specifically designed for binary data. Binary Diffusion leverages the simplicity of XOR operations for noise addition and removal and employs binary cross-entropy loss for training. Our approach eliminates the need for extensive preprocessing, complex noise parameter tuning, and pretraining on large datasets. We evaluate our model on several popular tabular benchmark datasets, demonstrating that Binary Diffusion outperforms existing state-of-the-art models on Travel, Adult Income, and Diabetes datasets while being significantly smaller in size.