RelBench: Ein Benchmark für Deep Learning auf relationalen Datenbanken

RelBench: A Benchmark for Deep Learning on Relational Databases

July 29, 2024

Autoren: Joshua Robinson, Rishabh Ranjan, Weihua Hu, Kexin Huang, Jiaqi Han, Alejandro Dobles, Matthias Fey, Jan E. Lenssen, Yiwen Yuan, Zecheng Zhang, Xinwei He, Jure Leskovec

cs.AI

Zusammenfassung

Wir präsentieren RelBench, einen öffentlichen Benchmark zur Lösung von prädiktiven Aufgaben über relationale Datenbanken mit Graph-Neuronalen-Netzwerken. RelBench bietet Datenbanken und Aufgaben aus verschiedenen Bereichen und Skalen und soll eine grundlegende Infrastruktur für zukünftige Forschung darstellen. Wir verwenden RelBench, um die erste umfassende Studie des Relationalen Tiefen Lernens (RDL) (Fey et al., 2024) durchzuführen, das graph-neuronale Netzwerkprädiktionsmodelle mit (tiefen) tabellarischen Modellen kombiniert, die initiale Entitätsrepräsentationen aus Rohdaten extrahieren. End-to-end gelernte RDL-Modelle nutzen das prädiktive Signal, das in Primär-Fremdschlüssel-Verknüpfungen codiert ist, voll aus und markieren eine signifikante Abkehr vom dominanten Paradigma des manuellen Merkmals-Engineerings in Kombination mit tabellarischen Modellen. Um RDL gründlich gegen diesen bisherigen Goldstandard zu bewerten, führen wir eine eingehende Benutzerstudie durch, bei der ein erfahrener Datenwissenschaftler für jede Aufgabe manuell Merkmale entwickelt. In dieser Studie lernt RDL bessere Modelle, während der menschliche Arbeitsaufwand um mehr als eine Größenordnung reduziert wird. Dies zeigt die Leistungsfähigkeit des Tiefen Lernens zur Lösung prädiktiver Aufgaben über relationale Datenbanken auf und eröffnet viele neue Forschungsmöglichkeiten, die durch RelBench ermöglicht werden.

English

We present RelBench, a public benchmark for solving predictive tasks over relational databases with graph neural networks. RelBench provides databases and tasks spanning diverse domains and scales, and is intended to be a foundational infrastructure for future research. We use RelBench to conduct the first comprehensive study of Relational Deep Learning (RDL) (Fey et al., 2024), which combines graph neural network predictive models with (deep) tabular models that extract initial entity-level representations from raw tables. End-to-end learned RDL models fully exploit the predictive signal encoded in primary-foreign key links, marking a significant shift away from the dominant paradigm of manual feature engineering combined with tabular models. To thoroughly evaluate RDL against this prior gold-standard, we conduct an in-depth user study where an experienced data scientist manually engineers features for each task. In this study, RDL learns better models whilst reducing human work needed by more than an order of magnitude. This demonstrates the power of deep learning for solving predictive tasks over relational databases, opening up many new research opportunities enabled by RelBench.