RelBench: Набор тестов для глубокого обучения на реляционных базах данных

RelBench: A Benchmark for Deep Learning on Relational Databases

July 29, 2024

Авторы: Joshua Robinson, Rishabh Ranjan, Weihua Hu, Kexin Huang, Jiaqi Han, Alejandro Dobles, Matthias Fey, Jan E. Lenssen, Yiwen Yuan, Zecheng Zhang, Xinwei He, Jure Leskovec

cs.AI

Аннотация

Мы представляем RelBench, общедоступный бенчмарк для решения предиктивных задач над реляционными базами данных с графовыми нейронными сетями. RelBench предоставляет базы данных и задачи, охватывающие различные области и масштабы, и призван быть основополагающей инфраструктурой для будущих исследований. Мы используем RelBench для проведения первого всестороннего исследования Реляционного Глубокого Обучения (RDL) (Фей и др., 2024), которое объединяет предиктивные модели графовых нейронных сетей с (глубокими) табличными моделями, извлекающими начальные представления на уровне сущностей из исходных таблиц. Модели RDL с обучением от начала до конца полностью используют предиктивный сигнал, закодированный в первичных и внешних ключевых ссылках, что является значительным сдвигом от доминирующей парадигмы ручного инжиниринга признаков в сочетании с табличными моделями. Для тщательной оценки RDL по сравнению с эталоном предыдущего золотого стандарта мы проводим глубокое исследование пользовательского опыта, где опытный специалист по данным вручную создает признаки для каждой задачи. В этом исследовании RDL обучается лучшим моделям, сокращая необходимую для этого человеческую работу более чем на порядок. Это демонстрирует мощь глубокого обучения для решения предиктивных задач над реляционными базами данных, открывая множество новых исследовательских возможностей, предоставленных RelBench.

English

We present RelBench, a public benchmark for solving predictive tasks over relational databases with graph neural networks. RelBench provides databases and tasks spanning diverse domains and scales, and is intended to be a foundational infrastructure for future research. We use RelBench to conduct the first comprehensive study of Relational Deep Learning (RDL) (Fey et al., 2024), which combines graph neural network predictive models with (deep) tabular models that extract initial entity-level representations from raw tables. End-to-end learned RDL models fully exploit the predictive signal encoded in primary-foreign key links, marking a significant shift away from the dominant paradigm of manual feature engineering combined with tabular models. To thoroughly evaluate RDL against this prior gold-standard, we conduct an in-depth user study where an experienced data scientist manually engineers features for each task. In this study, RDL learns better models whilst reducing human work needed by more than an order of magnitude. This demonstrates the power of deep learning for solving predictive tasks over relational databases, opening up many new research opportunities enabled by RelBench.