Генерация табличных данных с использованием бинарной диффузии

Tabular Data Generation using Binary Diffusion

September 20, 2024

Авторы: Vitaliy Kinakh, Slava Voloshynovskiy

cs.AI

Аннотация

Генерация синтетических табличных данных имеет важное значение в машинном обучении, особенно когда реальных данных ограничено или они являются конфиденциальными. Традиционные генеративные модели часто сталкиваются с проблемами из-за уникальных характеристик табличных данных, таких как смешанные типы данных и разнообразные распределения, и требуют сложной предварительной обработки или больших предварительно обученных моделей. В данной статье мы представляем новый метод бинарного преобразования без потерь, который преобразует любые табличные данные в бинарные представления фиксированного размера, а также соответствующую новую генеративную модель под названием Binary Diffusion, специально разработанную для бинарных данных. Binary Diffusion использует простоту операций XOR для добавления и удаления шума, а также применяет бинарную кросс-энтропийную функцию потерь для обучения. Наш подход устраняет необходимость в обширной предварительной обработке, сложной настройке параметров шума и предварительном обучении на больших наборах данных. Мы оцениваем нашу модель на нескольких популярных наборах данных для тестирования табличных данных, демонстрируя, что Binary Diffusion превосходит существующие передовые модели на наборах данных Travel, Adult Income и Diabetes, при этом имея значительно меньший размер.

English

Generating synthetic tabular data is critical in machine learning, especially when real data is limited or sensitive. Traditional generative models often face challenges due to the unique characteristics of tabular data, such as mixed data types and varied distributions, and require complex preprocessing or large pretrained models. In this paper, we introduce a novel, lossless binary transformation method that converts any tabular data into fixed-size binary representations, and a corresponding new generative model called Binary Diffusion, specifically designed for binary data. Binary Diffusion leverages the simplicity of XOR operations for noise addition and removal and employs binary cross-entropy loss for training. Our approach eliminates the need for extensive preprocessing, complex noise parameter tuning, and pretraining on large datasets. We evaluate our model on several popular tabular benchmark datasets, demonstrating that Binary Diffusion outperforms existing state-of-the-art models on Travel, Adult Income, and Diabetes datasets while being significantly smaller in size.