За пределами IID: Насколько на самом деле универсальны табличные фундаментальные модели?

Аннотация

Фундаментальные модели для предсказательного машинного обучения на табличных данных в последнее время привлекли значительное внимание в академической среде и промышленности. Исследовательские сообщества из разных дисциплин все чаще оценивают табличные фундаментальные модели на разнообразных наборах данных и задачах. Однако такие оценки, специфичные для задач и дисциплин, остаются в значительной степени недоступными для исследователей моделей, поскольку программное обеспечение для бенчмаркинга и протоколы оценки фрагментированы. В результате исследователи моделей полагаются на стандартные бенчмарки, которые в основном определены для задач, где табличные фундаментальные модели уже преуспевают. Наиболее сложные сценарии исключаются, что ограничивает значимый прогресс в этой области, фокусируясь на незначительных улучшениях на IID-данных, а не на более широких и трудных задачах. Чтобы преодолеть это, мы представляем BeyondArena — первый унифицированный целостный бенчмарк для табличных данных, который поддерживает различные типы задач (IID, временные, групповые), в масштабах размера выборки и размерности признаков, с разнообразными типами признаков (с текстом, с высокой кардинальностью) из широкого круга дисциплин. Чтобы обеспечить унифицированное бенчмаркирование за пределами стандартных эталонов, мы представляем Data Foundry — фреймворк на Python и схему метаданных для курирования табличных наборов данных для предсказательного машинного обучения. Наши результаты по 11 моделям и 142 курированным наборам данных показывают, что существующие табличные фундаментальные модели преуспевают на небольших и средних IID-данных, в то время как традиционные модели на основе деревьев и глубокого обучения по-прежнему доминируют на не-IID, больших и многомерных наборах данных. BeyondArena направляет исследования моделей на самые сложные задачи в табличных данных, способствуя прогрессу в сторону по-настоящему фундаментальных табличных моделей.

English

Foundation models for predictive machine learning on tabular data have recently gained significant traction in academia and industry. Research communities across disciplines are increasingly evaluating tabular foundation models on diverse datasets and tasks. However, these task- and discipline-specific evaluations remain largely inaccessible to model researchers because benchmark software and evaluation protocols are fragmented. As a result, model researchers rely on standard benchmarks, which are mostly defined for tasks where tabular foundation models already excel. The most challenging scenarios are excluded, limiting meaningful progress in the field by focusing on marginal improvements on IID data rather than on broader, more demanding challenges. To overcome this, we introduce BeyondArena, the first unified holistic benchmark for tabular data that supports diverse task types (IID, temporal, grouped), across sample size and feature dimensionality scales, with diverse feature types (with text, with high cardinality) from a broad range of disciplines. To enable unified benchmarking beyond standard benchmarks, we introduce Data Foundry, a Python framework and metadata schema for curating tabular datasets for predictive machine learning. Our results across 11 models and 142 curated datasets show that existing tabular foundation models excel on tiny- to medium-sized IID data, while traditional tree-based and deep learning models still dominate on non-IID, large, and high-dimensional datasets. BeyondArena guides model research for the most demanding challenges in tabular data, enabling progress towards truly foundational tabular models.