IID를 넘어서: 테이블러 파운데이션 모델은 실제로 얼마나 범용적인가?

초록

표 형태 데이터의 예측 머신러닝을 위한 파운데이션 모델은 최근 학계와 산업계에서 상당한 주목을 받고 있다. 다양한 분야의 연구 커뮤니티는 점점 더 다양한 데이터셋과 작업에서 테이블 파운데이션 모델을 평가하고 있다. 그러나 이러한 작업 및 분야별 평가는 벤치마크 소프트웨어와 평가 프로토콜이 분산되어 있어 모델 연구자들이 접근하기 어려운 경우가 대부분이다. 그 결과, 모델 연구자들은 주로 테이블 파운데이션 모델이 이미 우수한 성능을 보이는 작업에 대해 정의된 표준 벤치마크에 의존하게 된다. 가장 도전적인 시나리오는 제외되어, 더 광범위하고 까다로운 과제보다는 IID 데이터에 대한 미세한 개선에 초점을 맞춤으로써 해당 분야의 의미 있는 발전을 제한한다. 이를 극복하기 위해, 우리는 다양한 작업 유형(IID, 시간적, 그룹화), 샘플 크기 및 특성 차원 규모, 다양한 특성 유형(텍스트 포함, 고카디널리티)을 다양한 분야에 걸쳐 지원하는 최초의 통합적 포괄적 테이블 데이터 벤치마크인 BeyondArena를 소개한다. 표준 벤치마크를 넘어선 통합적 벤치마킹을 가능하게 하기 위해, 우리는 예측 머신러닝을 위한 테이블 데이터셋을 큐레이팅하기 위한 Python 프레임워크 및 메타데이터 스키마인 Data Foundry를 소개한다. 11개 모델과 142개 큐레이팅된 데이터셋에 대한 실험 결과, 기존 테이블 파운데이션 모델은 소규모에서 중간 규모의 IID 데이터에서 뛰어난 성능을 보이는 반면, 전통적인 트리 기반 및 딥러닝 모델은 비IID, 대규모, 고차원 데이터셋에서 여전히 우세함을 보여준다. BeyondArena는 테이블 데이터의 가장 까다로운 과제에 대한 모델 연구를 안내하여 진정한 기반 테이블 모델을 향한 발전을 가능하게 한다.

English

Foundation models for predictive machine learning on tabular data have recently gained significant traction in academia and industry. Research communities across disciplines are increasingly evaluating tabular foundation models on diverse datasets and tasks. However, these task- and discipline-specific evaluations remain largely inaccessible to model researchers because benchmark software and evaluation protocols are fragmented. As a result, model researchers rely on standard benchmarks, which are mostly defined for tasks where tabular foundation models already excel. The most challenging scenarios are excluded, limiting meaningful progress in the field by focusing on marginal improvements on IID data rather than on broader, more demanding challenges. To overcome this, we introduce BeyondArena, the first unified holistic benchmark for tabular data that supports diverse task types (IID, temporal, grouped), across sample size and feature dimensionality scales, with diverse feature types (with text, with high cardinality) from a broad range of disciplines. To enable unified benchmarking beyond standard benchmarks, we introduce Data Foundry, a Python framework and metadata schema for curating tabular datasets for predictive machine learning. Our results across 11 models and 142 curated datasets show that existing tabular foundation models excel on tiny- to medium-sized IID data, while traditional tree-based and deep learning models still dominate on non-IID, large, and high-dimensional datasets. BeyondArena guides model research for the most demanding challenges in tabular data, enabling progress towards truly foundational tabular models.