Au-delà de l'i.i.d. : Dans quelle mesure les modèles de fondation tabulaires sont-ils vraiment généraux ?

Résumé

Les modèles de fondation pour l'apprentissage automatique prédictif sur données tabulaires ont récemment suscité un intérêt considérable dans le monde académique et industriel. Les communautés de recherche de différentes disciplines évaluent de plus en plus ces modèles sur des ensembles de données et des tâches variés. Cependant, ces évaluations spécifiques à une tâche ou à une discipline restent largement inaccessibles aux chercheurs en modélisation, car les logiciels de référence et les protocoles d'évaluation sont fragmentés. En conséquence, les chercheurs en modélisation se tournent vers des benchmarks standards, qui sont principalement définis pour des tâches où les modèles de fondation tabulaires excellent déjà. Les scénarios les plus difficiles sont exclus, ce qui limite les progrès significatifs dans le domaine en privilégiant des améliorations marginales sur des données i.i.d. plutôt que des défis plus larges et exigeants. Pour surmonter cela, nous présentons BeyondArena, le premier benchmark unifié et holistique pour données tabulaires, prenant en charge divers types de tâches (i.i.d., temporelles, groupées), à différentes échelles de taille d'échantillon et de dimensionnalité de caractéristiques, avec des types de caractéristiques variés (texte, haute cardinalité) provenant d'un large éventail de disciplines. Pour permettre une évaluation unifiée au-delà des benchmarks standards, nous introduisons Data Foundry, un framework Python et un schéma de métadonnées pour la curation d'ensembles de données tabulaires destinés à l'apprentissage automatique prédictif. Nos résultats, portant sur 11 modèles et 142 ensembles de données curatés, montrent que les modèles de fondation tabulaires existants excellent sur les données i.i.d. de petite à moyenne taille, tandis que les modèles traditionnels basés sur les arbres et d'apprentissage profond dominent encore sur les ensembles de données non i.i.d., de grande taille et à haute dimensionnalité. BeyondArena oriente la recherche en modélisation vers les défis les plus exigeants dans le domaine des données tabulaires, permettant des progrès vers des modèles tabulaires véritablement fondamentaux.

English

Foundation models for predictive machine learning on tabular data have recently gained significant traction in academia and industry. Research communities across disciplines are increasingly evaluating tabular foundation models on diverse datasets and tasks. However, these task- and discipline-specific evaluations remain largely inaccessible to model researchers because benchmark software and evaluation protocols are fragmented. As a result, model researchers rely on standard benchmarks, which are mostly defined for tasks where tabular foundation models already excel. The most challenging scenarios are excluded, limiting meaningful progress in the field by focusing on marginal improvements on IID data rather than on broader, more demanding challenges. To overcome this, we introduce BeyondArena, the first unified holistic benchmark for tabular data that supports diverse task types (IID, temporal, grouped), across sample size and feature dimensionality scales, with diverse feature types (with text, with high cardinality) from a broad range of disciplines. To enable unified benchmarking beyond standard benchmarks, we introduce Data Foundry, a Python framework and metadata schema for curating tabular datasets for predictive machine learning. Our results across 11 models and 142 curated datasets show that existing tabular foundation models excel on tiny- to medium-sized IID data, while traditional tree-based and deep learning models still dominate on non-IID, large, and high-dimensional datasets. BeyondArena guides model research for the most demanding challenges in tabular data, enabling progress towards truly foundational tabular models.