Jenseits von IID: Wie allgemein sind tabellarische Foundation-Modelle wirklich?

Zusammenfassung

Grundlagenmodelle für prädiktives maschinelles Lernen auf tabellarischen Daten haben in jüngster Zeit in Wissenschaft und Industrie erheblich an Bedeutung gewonnen. Forschungsgemeinschaften verschiedener Disziplinen evaluieren zunehmend tabellarische Grundlagenmodelle auf vielfältigen Datensätzen und Aufgaben. Allerdings bleiben diese aufgaben- und disziplinspezifischen Evaluationen für Modellforscher weitgehend unzugänglich, da Benchmark-Software und Evaluationsprotokolle fragmentiert sind. Daher greifen Modellforscher auf Standard-Benchmarks zurück, die meist für Aufgaben definiert sind, bei denen tabellarische Grundlagenmodelle bereits hervorragende Leistungen erbringen. Die herausforderndsten Szenarien werden ausgeschlossen, was den sinnvollen Fortschritt auf diesem Gebiet einschränkt, indem der Fokus auf marginale Verbesserungen bei IID-Daten statt auf breitere, anspruchsvollere Herausforderungen gelegt wird. Um dies zu überwinden, führen wir BeyondArena ein, den ersten einheitlichen holistischen Benchmark für tabellarische Daten, der verschiedene Aufgabentypen (IID, zeitlich, gruppiert) über verschiedene Stichprobengrößen- und Merkmalsdimensionalitätsskalen hinweg sowie vielfältige Merkmalstypen (mit Text, mit hoher Kardinalität) aus einem breiten Spektrum von Disziplinen unterstützt. Um einheitliches Benchmarking über Standard-Benchmarks hinaus zu ermöglichen, führen wir Data Foundry ein, ein Python-Framework und Metadatenschema zur Kuratierung tabellarischer Datensätze für prädiktives maschinelles Lernen. Unsere Ergebnisse über 11 Modelle und 142 kuratierte Datensätze zeigen, dass bestehende tabellarische Grundlagenmodelle bei kleinen bis mittelgroßen IID-Daten hervorragende Leistungen erbringen, während traditionelle baumbasierte und Deep-Learning-Modelle bei nicht-IID-, großen und hochdimensionalen Datensätzen weiterhin dominieren. BeyondArena leitet die Modellforschung für die anspruchsvollsten Herausforderungen bei tabellarischen Daten und ermöglicht Fortschritte hin zu wirklich grundlegenden tabellarischen Modellen.

English

Foundation models for predictive machine learning on tabular data have recently gained significant traction in academia and industry. Research communities across disciplines are increasingly evaluating tabular foundation models on diverse datasets and tasks. However, these task- and discipline-specific evaluations remain largely inaccessible to model researchers because benchmark software and evaluation protocols are fragmented. As a result, model researchers rely on standard benchmarks, which are mostly defined for tasks where tabular foundation models already excel. The most challenging scenarios are excluded, limiting meaningful progress in the field by focusing on marginal improvements on IID data rather than on broader, more demanding challenges. To overcome this, we introduce BeyondArena, the first unified holistic benchmark for tabular data that supports diverse task types (IID, temporal, grouped), across sample size and feature dimensionality scales, with diverse feature types (with text, with high cardinality) from a broad range of disciplines. To enable unified benchmarking beyond standard benchmarks, we introduce Data Foundry, a Python framework and metadata schema for curating tabular datasets for predictive machine learning. Our results across 11 models and 142 curated datasets show that existing tabular foundation models excel on tiny- to medium-sized IID data, while traditional tree-based and deep learning models still dominate on non-IID, large, and high-dimensional datasets. BeyondArena guides model research for the most demanding challenges in tabular data, enabling progress towards truly foundational tabular models.