RelBench: リレーショナルデータベースにおける深層学習のためのベンチマーク

RelBench: A Benchmark for Deep Learning on Relational Databases

July 29, 2024

著者: Joshua Robinson, Rishabh Ranjan, Weihua Hu, Kexin Huang, Jiaqi Han, Alejandro Dobles, Matthias Fey, Jan E. Lenssen, Yiwen Yuan, Zecheng Zhang, Xinwei He, Jure Leskovec

cs.AI

要旨

我々は、リレーショナルデータベース上の予測タスクをグラフニューラルネットワークで解決するための公開ベンチマーク「RelBench」を提案します。RelBenchは、多様なドメインとスケールにわたるデータベースとタスクを提供し、将来の研究の基盤となるインフラストラクチャを目指しています。我々はRelBenchを用いて、リレーショナルディープラーニング（RDL）（Fey et al., 2024）の最初の包括的な研究を実施しました。RDLは、グラフニューラルネットワークの予測モデルと、生のテーブルから初期のエンティティレベルの表現を抽出する（ディープ）テーブルモデルを組み合わせたものです。エンドツーエンドで学習されたRDLモデルは、主キーと外部キーのリンクにエンコードされた予測信号を完全に活用し、手動の特徴量エンジニアリングとテーブルモデルを組み合わせた従来の主流パラダイムからの大きな転換を示しています。この従来のゴールドスタンダードに対してRDLを徹底的に評価するため、経験豊富なデータサイエンティストが各タスクに対して手動で特徴量を設計する詳細なユーザー調査を実施しました。この調査では、RDLはより優れたモデルを学習しつつ、必要な人間の作業量を1桁以上削減しました。これは、リレーショナルデータベース上の予測タスクを解決するためのディープラーニングの力を示しており、RelBenchによって可能となる多くの新しい研究機会を開拓しています。

English

We present RelBench, a public benchmark for solving predictive tasks over relational databases with graph neural networks. RelBench provides databases and tasks spanning diverse domains and scales, and is intended to be a foundational infrastructure for future research. We use RelBench to conduct the first comprehensive study of Relational Deep Learning (RDL) (Fey et al., 2024), which combines graph neural network predictive models with (deep) tabular models that extract initial entity-level representations from raw tables. End-to-end learned RDL models fully exploit the predictive signal encoded in primary-foreign key links, marking a significant shift away from the dominant paradigm of manual feature engineering combined with tabular models. To thoroughly evaluate RDL against this prior gold-standard, we conduct an in-depth user study where an experienced data scientist manually engineers features for each task. In this study, RDL learns better models whilst reducing human work needed by more than an order of magnitude. This demonstrates the power of deep learning for solving predictive tasks over relational databases, opening up many new research opportunities enabled by RelBench.