Generación de Datos Tabulares utilizando Difusión Binaria

Tabular Data Generation using Binary Diffusion

September 20, 2024

Autores: Vitaliy Kinakh, Slava Voloshynovskiy

cs.AI

Resumen

Generar datos tabulares sintéticos es fundamental en el aprendizaje automático, especialmente cuando los datos reales son limitados o sensibles. Los modelos generativos tradicionales a menudo enfrentan desafíos debido a las características únicas de los datos tabulares, como los tipos de datos mixtos y las distribuciones variadas, y requieren un procesamiento complejo o grandes modelos preentrenados. En este documento, presentamos un novedoso método de transformación binaria sin pérdida que convierte cualquier dato tabular en representaciones binarias de tamaño fijo, y un nuevo modelo generativo correspondiente llamado Difusión Binaria, diseñado específicamente para datos binarios. Difusión Binaria aprovecha la simplicidad de las operaciones XOR para la adición y eliminación de ruido, y emplea una pérdida binaria de entropía cruzada para el entrenamiento. Nuestro enfoque elimina la necesidad de un extenso preprocesamiento, ajuste de parámetros de ruido complejos y preentrenamiento en grandes conjuntos de datos. Evaluamos nuestro modelo en varios conjuntos de datos tabulares de referencia populares, demostrando que Difusión Binaria supera a los modelos existentes de vanguardia en los conjuntos de datos de Viajes, Ingresos de Adultos y Diabetes, siendo significativamente más pequeño en tamaño.

English

Generating synthetic tabular data is critical in machine learning, especially when real data is limited or sensitive. Traditional generative models often face challenges due to the unique characteristics of tabular data, such as mixed data types and varied distributions, and require complex preprocessing or large pretrained models. In this paper, we introduce a novel, lossless binary transformation method that converts any tabular data into fixed-size binary representations, and a corresponding new generative model called Binary Diffusion, specifically designed for binary data. Binary Diffusion leverages the simplicity of XOR operations for noise addition and removal and employs binary cross-entropy loss for training. Our approach eliminates the need for extensive preprocessing, complex noise parameter tuning, and pretraining on large datasets. We evaluate our model on several popular tabular benchmark datasets, demonstrating that Binary Diffusion outperforms existing state-of-the-art models on Travel, Adult Income, and Diabetes datasets while being significantly smaller in size.