Geração de Dados Tabulares usando Difusão Binária

Tabular Data Generation using Binary Diffusion

September 20, 2024

Autores: Vitaliy Kinakh, Slava Voloshynovskiy

cs.AI

Resumo

Gerar dados tabulares sintéticos é crucial em aprendizado de máquina, especialmente quando os dados reais são limitados ou sensíveis. Modelos generativos tradicionais frequentemente enfrentam desafios devido às características únicas de dados tabulares, como tipos de dados mistos e distribuições variadas, e exigem um pré-processamento complexo ou grandes modelos pré-treinados. Neste artigo, apresentamos um novo método de transformação binária sem perdas que converte qualquer dado tabular em representações binárias de tamanho fixo, e um novo modelo generativo correspondente chamado Difusão Binária, especificamente projetado para dados binários. A Difusão Binária aproveita a simplicidade das operações XOR para adição e remoção de ruído e emprega a perda binária de entropia cruzada para treinamento. Nossa abordagem elimina a necessidade de um pré-processamento extensivo, ajuste complexo de parâmetros de ruído e pré-treinamento em grandes conjuntos de dados. Avaliamos nosso modelo em vários conjuntos de dados tabulares de referência populares, demonstrando que a Difusão Binária supera os modelos de última geração existentes nos conjuntos de dados de Viagem, Renda Adulta e Diabetes, sendo significativamente menor em tamanho.

English

Generating synthetic tabular data is critical in machine learning, especially when real data is limited or sensitive. Traditional generative models often face challenges due to the unique characteristics of tabular data, such as mixed data types and varied distributions, and require complex preprocessing or large pretrained models. In this paper, we introduce a novel, lossless binary transformation method that converts any tabular data into fixed-size binary representations, and a corresponding new generative model called Binary Diffusion, specifically designed for binary data. Binary Diffusion leverages the simplicity of XOR operations for noise addition and removal and employs binary cross-entropy loss for training. Our approach eliminates the need for extensive preprocessing, complex noise parameter tuning, and pretraining on large datasets. We evaluate our model on several popular tabular benchmark datasets, demonstrating that Binary Diffusion outperforms existing state-of-the-art models on Travel, Adult Income, and Diabetes datasets while being significantly smaller in size.