RelBench: Un Benchmark per l'Apprendimento Profondo su Database Relazionali
RelBench: A Benchmark for Deep Learning on Relational Databases
July 29, 2024
Autori: Joshua Robinson, Rishabh Ranjan, Weihua Hu, Kexin Huang, Jiaqi Han, Alejandro Dobles, Matthias Fey, Jan E. Lenssen, Yiwen Yuan, Zecheng Zhang, Xinwei He, Jure Leskovec
cs.AI
Abstract
Presentiamo RelBench, un benchmark pubblico per risolvere task predittivi su database relazionali utilizzando reti neurali grafiche. RelBench fornisce database e task che coprono diversi domini e scale, e si propone come infrastruttura di base per la ricerca futura. Utilizziamo RelBench per condurre il primo studio completo sul Deep Learning Relazionale (RDL) (Fey et al., 2024), che combina modelli predittivi basati su reti neurali grafiche con modelli tabellari (deep) che estraggono rappresentazioni iniziali a livello di entità da tabelle grezze. I modelli RDL appresi end-to-end sfruttano appieno il segnale predittivo codificato nei collegamenti tra chiavi primarie ed esterne, segnando un significativo allontanamento dal paradigma dominante dell'ingegnerizzazione manuale delle feature combinata con modelli tabellari. Per valutare approfonditamente l'RDL rispetto a questo precedente standard di riferimento, conduciamo uno studio approfondito con utenti in cui un data scientist esperto ingegnerizza manualmente le feature per ciascun task. In questo studio, l'RDL apprende modelli migliori riducendo il lavoro umano necessario di oltre un ordine di grandezza. Ciò dimostra la potenza del deep learning per risolvere task predittivi su database relazionali, aprendo molte nuove opportunità di ricerca rese possibili da RelBench.
English
We present RelBench, a public benchmark for solving predictive tasks over
relational databases with graph neural networks. RelBench provides databases
and tasks spanning diverse domains and scales, and is intended to be a
foundational infrastructure for future research. We use RelBench to conduct the
first comprehensive study of Relational Deep Learning (RDL) (Fey et al., 2024),
which combines graph neural network predictive models with (deep) tabular
models that extract initial entity-level representations from raw tables.
End-to-end learned RDL models fully exploit the predictive signal encoded in
primary-foreign key links, marking a significant shift away from the dominant
paradigm of manual feature engineering combined with tabular models. To
thoroughly evaluate RDL against this prior gold-standard, we conduct an
in-depth user study where an experienced data scientist manually engineers
features for each task. In this study, RDL learns better models whilst reducing
human work needed by more than an order of magnitude. This demonstrates the
power of deep learning for solving predictive tasks over relational databases,
opening up many new research opportunities enabled by RelBench.