RelBench : Un Benchmark pour l'Apprentissage Profond sur les Bases de Données Relationnelles

RelBench: A Benchmark for Deep Learning on Relational Databases

July 29, 2024

Auteurs: Joshua Robinson, Rishabh Ranjan, Weihua Hu, Kexin Huang, Jiaqi Han, Alejandro Dobles, Matthias Fey, Jan E. Lenssen, Yiwen Yuan, Zecheng Zhang, Xinwei He, Jure Leskovec

cs.AI

Résumé

Nous présentons RelBench, un benchmark public pour résoudre des tâches prédictives sur des bases de données relationnelles à l'aide de réseaux de neurones graphiques. RelBench propose des bases de données et des tâches couvrant divers domaines et échelles, et vise à constituer une infrastructure fondamentale pour la recherche future. Nous utilisons RelBench pour mener la première étude exhaustive de l'apprentissage profond relationnel (Relational Deep Learning, RDL) (Fey et al., 2024), qui combine des modèles prédictifs basés sur des réseaux de neurones graphiques avec des modèles tabulaires (profonds) qui extraient des représentations initiales au niveau des entités à partir de tables brutes. Les modèles RDL appris de bout en bout exploitent pleinement le signal prédictif encodé dans les liens clés primaires-étrangères, marquant un changement significatif par rapport au paradigme dominant de l'ingénierie manuelle des caractéristiques combinée à des modèles tabulaires. Pour évaluer rigoureusement RDL par rapport à cet ancien standard de référence, nous menons une étude utilisateur approfondie où un data scientist expérimenté conçoit manuellement des caractéristiques pour chaque tâche. Dans cette étude, RDL apprend des modèles supérieurs tout en réduisant le travail humain nécessaire de plus d'un ordre de grandeur. Cela démontre la puissance de l'apprentissage profond pour résoudre des tâches prédictives sur des bases de données relationnelles, ouvrant de nombreuses nouvelles opportunités de recherche rendues possibles par RelBench.

English

We present RelBench, a public benchmark for solving predictive tasks over relational databases with graph neural networks. RelBench provides databases and tasks spanning diverse domains and scales, and is intended to be a foundational infrastructure for future research. We use RelBench to conduct the first comprehensive study of Relational Deep Learning (RDL) (Fey et al., 2024), which combines graph neural network predictive models with (deep) tabular models that extract initial entity-level representations from raw tables. End-to-end learned RDL models fully exploit the predictive signal encoded in primary-foreign key links, marking a significant shift away from the dominant paradigm of manual feature engineering combined with tabular models. To thoroughly evaluate RDL against this prior gold-standard, we conduct an in-depth user study where an experienced data scientist manually engineers features for each task. In this study, RDL learns better models whilst reducing human work needed by more than an order of magnitude. This demonstrates the power of deep learning for solving predictive tasks over relational databases, opening up many new research opportunities enabled by RelBench.