RelBench: Um Benchmark para Aprendizado Profundo em Bancos de Dados Relacionais

RelBench: A Benchmark for Deep Learning on Relational Databases

July 29, 2024

Autores: Joshua Robinson, Rishabh Ranjan, Weihua Hu, Kexin Huang, Jiaqi Han, Alejandro Dobles, Matthias Fey, Jan E. Lenssen, Yiwen Yuan, Zecheng Zhang, Xinwei He, Jure Leskovec

cs.AI

Resumo

Apresentamos o RelBench, um benchmark público para resolver tarefas preditivas em bancos de dados relacionais com redes neurais gráficas. O RelBench fornece bancos de dados e tarefas abrangendo diversos domínios e escalas, e tem como objetivo ser uma infraestrutura fundamental para pesquisas futuras. Utilizamos o RelBench para realizar o primeiro estudo abrangente de Aprendizado Profundo Relacional (RDL) (Fey et al., 2024), que combina modelos preditivos de redes neurais gráficas com modelos tabulares (profundos) que extraem representações iniciais em nível de entidade a partir de tabelas brutas. Os modelos RDL aprendidos de ponta a ponta exploram totalmente o sinal preditivo codificado em links primários e estrangeiros, marcando uma mudança significativa longe do paradigma dominante de engenharia manual de características combinada com modelos tabulares. Para avaliar minuciosamente o RDL em comparação com esse padrão-ouro anterior, realizamos um estudo de usuário detalhado no qual um cientista de dados experiente desenvolve manualmente características para cada tarefa. Neste estudo, o RDL aprende modelos melhores enquanto reduz o trabalho humano necessário em mais de uma ordem de magnitude. Isso demonstra o poder do aprendizado profundo para resolver tarefas preditivas em bancos de dados relacionais, abrindo muitas novas oportunidades de pesquisa possibilitadas pelo RelBench.

English

We present RelBench, a public benchmark for solving predictive tasks over relational databases with graph neural networks. RelBench provides databases and tasks spanning diverse domains and scales, and is intended to be a foundational infrastructure for future research. We use RelBench to conduct the first comprehensive study of Relational Deep Learning (RDL) (Fey et al., 2024), which combines graph neural network predictive models with (deep) tabular models that extract initial entity-level representations from raw tables. End-to-end learned RDL models fully exploit the predictive signal encoded in primary-foreign key links, marking a significant shift away from the dominant paradigm of manual feature engineering combined with tabular models. To thoroughly evaluate RDL against this prior gold-standard, we conduct an in-depth user study where an experienced data scientist manually engineers features for each task. In this study, RDL learns better models whilst reducing human work needed by more than an order of magnitude. This demonstrates the power of deep learning for solving predictive tasks over relational databases, opening up many new research opportunities enabled by RelBench.