バイナリ拡散を用いた表形式データ生成

Tabular Data Generation using Binary Diffusion

September 20, 2024

著者: Vitaliy Kinakh, Slava Voloshynovskiy

cs.AI

要旨

機械学習において、実データが限られているか機密性が高い場合には、合成表形式データの生成は重要です。従来の生成モデルは、表形式データの特性（異なるデータ型や多様な分布など）による困難に直面し、複雑な前処理や大規模な事前学習モデルが必要とされてきました。本論文では、任意の表形式データを固定サイズのバイナリ表現に変換する新しい損失なしバイナリ変換手法と、バイナリデータに特化した新しい生成モデルBinary Diffusionを紹介します。Binary Diffusionは、ノイズの追加と削除にXOR演算の単純さを活用し、トレーニングにはバイナリクロスエントロピー損失を用います。当手法は、複雑な前処理やノイズパラメータの調整、大規模データセットでの事前学習の必要性を排除します。我々は、いくつかの一般的な表形式ベンチマークデータセットでモデルを評価し、Binary DiffusionがTravel、Adult Income、Diabetesデータセットにおいて既存の最先端モデルを上回ることを示し、かつサイズが大幅に小さいことを示しました。

English

Generating synthetic tabular data is critical in machine learning, especially when real data is limited or sensitive. Traditional generative models often face challenges due to the unique characteristics of tabular data, such as mixed data types and varied distributions, and require complex preprocessing or large pretrained models. In this paper, we introduce a novel, lossless binary transformation method that converts any tabular data into fixed-size binary representations, and a corresponding new generative model called Binary Diffusion, specifically designed for binary data. Binary Diffusion leverages the simplicity of XOR operations for noise addition and removal and employs binary cross-entropy loss for training. Our approach eliminates the need for extensive preprocessing, complex noise parameter tuning, and pretraining on large datasets. We evaluate our model on several popular tabular benchmark datasets, demonstrating that Binary Diffusion outperforms existing state-of-the-art models on Travel, Adult Income, and Diabetes datasets while being significantly smaller in size.