RelBench: 관계형 데이터베이스에서의 딥 러닝을 위한 벤치마크

초록

우리는 그래프 신경망을 사용하여 관계형 데이터베이스에서 예측 작업을 해결하기 위한 공개 벤치마크인 RelBench를 제시합니다. RelBench는 다양한 도메인과 규모를 아우르는 데이터베이스와 작업을 제공하며, 향후 연구를 위한 기초 인프라 역할을 하도록 의도되었습니다. 우리는 RelBench를 사용하여 관계형 딥 러닝(RDL) (Fey et al., 2024)의 첫 번째 포괄적인 연구를 수행했습니다. 이는 그래프 신경망 예측 모델과 (깊은) 테이블 모델을 결합하여 원시 테이블에서 초기 엔티티 수준 표현을 추출하는 RDL입니다. 끝에서 끝으로 학습된 RDL 모델은 주요-외래 키 링크에 인코딩된 예측 신호를 완전히 활용하며, 수동 특성 공학과 테이블 모델 결합의 주요 패러다임에서 중요한 변화를 나타냅니다. 이전의 골드 표준에 대한 RDL의 철저한 평가를 위해, 각 작업에 대해 경험 많은 데이터 과학자가 수동으로 특성을 공학하는 사용자 연구를 실시했습니다. 이 연구에서 RDL은 더 나은 모델을 학습하면서 인간의 작업을 한 차원 이상으로 줄입니다. 이는 관계형 데이터베이스에서 예측 작업을 해결하기 위한 딥 러닝의 힘을 보여주며, RelBench가 가능케 하는 많은 새로운 연구 기회를 열어줍니다.

English

We present RelBench, a public benchmark for solving predictive tasks over relational databases with graph neural networks. RelBench provides databases and tasks spanning diverse domains and scales, and is intended to be a foundational infrastructure for future research. We use RelBench to conduct the first comprehensive study of Relational Deep Learning (RDL) (Fey et al., 2024), which combines graph neural network predictive models with (deep) tabular models that extract initial entity-level representations from raw tables. End-to-end learned RDL models fully exploit the predictive signal encoded in primary-foreign key links, marking a significant shift away from the dominant paradigm of manual feature engineering combined with tabular models. To thoroughly evaluate RDL against this prior gold-standard, we conduct an in-depth user study where an experienced data scientist manually engineers features for each task. In this study, RDL learns better models whilst reducing human work needed by more than an order of magnitude. This demonstrates the power of deep learning for solving predictive tasks over relational databases, opening up many new research opportunities enabled by RelBench.

RelBench: 관계형 데이터베이스에서의 딥 러닝을 위한 벤치마크

RelBench: A Benchmark for Deep Learning on Relational Databases

초록

Summary

Support

Support