TabReD: 実世界における表形式機械学習のベンチマーク

TabReD: A Benchmark of Tabular Machine Learning in-the-Wild

June 27, 2024

著者: Ivan Rubachev, Nikolay Kartashev, Yury Gorishniy, Artem Babenko

cs.AI

要旨

下流のアプリケーションシナリオを密接に反映するベンチマークは、表形式機械学習（ML）における新たな研究の円滑な採用に不可欠です。本研究では、既存の表形式ベンチマークを検証し、学術界で利用可能なデータセットにおいて、産業グレードの表形式データに共通する2つの特性が十分に反映されていないことを明らかにしました。第一に、実世界の展開シナリオでは、表形式データは時間とともに変化することが多いです。これはモデルのパフォーマンスに影響を与え、正確なモデル評価のためには時間ベースの訓練およびテスト分割が必要となります。しかし、既存の学術用表形式データセットには、そのような評価を可能にするタイムスタンプメタデータが欠けていることが多いです。第二に、生産環境におけるデータセットの相当部分は、大規模なデータ収集および特徴量エンジニアリングパイプラインに由来します。特定のデータセットごとに、これは予測的、非情報的、および相関的な特徴量の絶対数および相対数に異なる影響を与え、結果としてモデル選択に影響を及ぼす可能性があります。これらの学術ベンチマークにおけるギャップを埋めるため、我々はTabReDを導入します。TabReDは、金融からフードデリバリーサービスまで幅広いドメインをカバーする8つの産業グレードの表形式データセットのコレクションです。我々は、TabReDが提供する特徴量が豊富で時間的に進化するデータ設定において、多数の表形式MLモデルを評価します。時間ベースのデータ分割による評価は、学術ベンチマークでより一般的なランダム分割による評価と比較して、異なるメソッドランキングをもたらすことを示します。さらに、TabReDデータセットにおいては、MLPのようなアーキテクチャとGBDTが最良の結果を示し、より洗練されたDLモデルの有効性はまだ証明されていません。

English

Benchmarks that closely reflect downstream application scenarios are essential for the streamlined adoption of new research in tabular machine learning (ML). In this work, we examine existing tabular benchmarks and find two common characteristics of industry-grade tabular data that are underrepresented in the datasets available to the academic community. First, tabular data often changes over time in real-world deployment scenarios. This impacts model performance and requires time-based train and test splits for correct model evaluation. Yet, existing academic tabular datasets often lack timestamp metadata to enable such evaluation. Second, a considerable portion of datasets in production settings stem from extensive data acquisition and feature engineering pipelines. For each specific dataset, this can have a different impact on the absolute and relative number of predictive, uninformative, and correlated features, which in turn can affect model selection. To fill the aforementioned gaps in academic benchmarks, we introduce TabReD -- a collection of eight industry-grade tabular datasets covering a wide range of domains from finance to food delivery services. We assess a large number of tabular ML models in the feature-rich, temporally-evolving data setting facilitated by TabReD. We demonstrate that evaluation on time-based data splits leads to different methods ranking, compared to evaluation on random splits more common in academic benchmarks. Furthermore, on the TabReD datasets, MLP-like architectures and GBDT show the best results, while more sophisticated DL models are yet to prove their effectiveness.