RelBench: Un banco de pruebas para el aprendizaje profundo en bases de datos relacionales

RelBench: A Benchmark for Deep Learning on Relational Databases

July 29, 2024

Autores: Joshua Robinson, Rishabh Ranjan, Weihua Hu, Kexin Huang, Jiaqi Han, Alejandro Dobles, Matthias Fey, Jan E. Lenssen, Yiwen Yuan, Zecheng Zhang, Xinwei He, Jure Leskovec

cs.AI

Resumen

Presentamos RelBench, un banco de pruebas público para resolver tareas predictivas en bases de datos relacionales con redes neuronales gráficas. RelBench ofrece bases de datos y tareas que abarcan diversos dominios y escalas, y está destinado a ser una infraestructura fundamental para investigaciones futuras. Utilizamos RelBench para llevar a cabo el primer estudio exhaustivo de Aprendizaje Profundo Relacional (RDL) (Fey et al., 2024), que combina modelos predictivos de redes neuronales gráficas con modelos tabulares (profundos) que extraen representaciones iniciales a nivel de entidad a partir de tablas sin procesar. Los modelos RDL aprendidos de extremo a extremo explotan completamente la señal predictiva codificada en los enlaces clave primaria-externa, marcando un cambio significativo lejos del paradigma dominante de ingeniería manual de características combinado con modelos tabulares. Para evaluar a fondo RDL frente a este estándar de oro previo, realizamos un estudio de usuario detallado donde un científico de datos experimentado diseña manualmente características para cada tarea. En este estudio, RDL aprende modelos mejores mientras reduce el trabajo humano necesario en más de un orden de magnitud. Esto demuestra el poder del aprendizaje profundo para resolver tareas predictivas en bases de datos relacionales, abriendo muchas nuevas oportunidades de investigación habilitadas por RelBench.

English

We present RelBench, a public benchmark for solving predictive tasks over relational databases with graph neural networks. RelBench provides databases and tasks spanning diverse domains and scales, and is intended to be a foundational infrastructure for future research. We use RelBench to conduct the first comprehensive study of Relational Deep Learning (RDL) (Fey et al., 2024), which combines graph neural network predictive models with (deep) tabular models that extract initial entity-level representations from raw tables. End-to-end learned RDL models fully exploit the predictive signal encoded in primary-foreign key links, marking a significant shift away from the dominant paradigm of manual feature engineering combined with tabular models. To thoroughly evaluate RDL against this prior gold-standard, we conduct an in-depth user study where an experienced data scientist manually engineers features for each task. In this study, RDL learns better models whilst reducing human work needed by more than an order of magnitude. This demonstrates the power of deep learning for solving predictive tasks over relational databases, opening up many new research opportunities enabled by RelBench.