RelBench: Een Benchmark voor Deep Learning op Relationele Databases
RelBench: A Benchmark for Deep Learning on Relational Databases
July 29, 2024
Auteurs: Joshua Robinson, Rishabh Ranjan, Weihua Hu, Kexin Huang, Jiaqi Han, Alejandro Dobles, Matthias Fey, Jan E. Lenssen, Yiwen Yuan, Zecheng Zhang, Xinwei He, Jure Leskovec
cs.AI
Samenvatting
We presenteren RelBench, een openbare benchmark voor het oplossen van voorspellende taken over relationele databases met grafneurale netwerken. RelBench biedt databases en taken die diverse domeinen en schalen omvatten, en is bedoeld als een fundamentele infrastructuur voor toekomstig onderzoek. We gebruiken RelBench om de eerste uitgebreide studie uit te voeren van Relationeel Deep Learning (RDL) (Fey et al., 2024), dat voorspellende modellen van grafneurale netwerken combineert met (diepe) tabelmodellen die initiële entiteitsrepresentaties extraheren uit ruwe tabellen. End-to-end geleerde RDL-modellen benutten volledig het voorspellende signaal dat is gecodeerd in primaire-foreign key-koppelingen, wat een significante verschuiving markeert van het dominante paradigma van handmatige feature engineering gecombineerd met tabelmodellen. Om RDL grondig te evalueren tegen deze eerdere gouden standaard, voeren we een diepgaande gebruikersstudie uit waarin een ervaren datawetenschapper handmatig features ontwerpt voor elke taak. In deze studie leert RDL betere modellen terwijl het benodigde menselijke werk met meer dan een orde van grootte wordt verminderd. Dit toont de kracht van deep learning aan voor het oplossen van voorspellende taken over relationele databases, wat vele nieuwe onderzoeksmogelijkheden opent die door RelBench worden mogelijk gemaakt.
English
We present RelBench, a public benchmark for solving predictive tasks over
relational databases with graph neural networks. RelBench provides databases
and tasks spanning diverse domains and scales, and is intended to be a
foundational infrastructure for future research. We use RelBench to conduct the
first comprehensive study of Relational Deep Learning (RDL) (Fey et al., 2024),
which combines graph neural network predictive models with (deep) tabular
models that extract initial entity-level representations from raw tables.
End-to-end learned RDL models fully exploit the predictive signal encoded in
primary-foreign key links, marking a significant shift away from the dominant
paradigm of manual feature engineering combined with tabular models. To
thoroughly evaluate RDL against this prior gold-standard, we conduct an
in-depth user study where an experienced data scientist manually engineers
features for each task. In this study, RDL learns better models whilst reducing
human work needed by more than an order of magnitude. This demonstrates the
power of deep learning for solving predictive tasks over relational databases,
opening up many new research opportunities enabled by RelBench.