Más allá de IID: ¿Qué tan generales son realmente los modelos fundacionales tabulares?

Resumen

Los modelos fundacionales para aprendizaje automático predictivo en datos tabulares han ganado recientemente un impulso significativo en el ámbito académico y la industria. Comunidades de investigación de diversas disciplinas evalúan cada vez más modelos fundacionales tabulares en conjuntos de datos y tareas heterogéneas. Sin embargo, estas evaluaciones específicas de tareas y disciplinas siguen siendo en gran medida inaccesibles para los investigadores de modelos, ya que el software de referencia y los protocolos de evaluación están fragmentados. Como resultado, los investigadores de modelos se basan en puntos de referencia estándar, que en su mayoría están definidos para tareas en las que los modelos fundacionales tabulares ya destacan. Los escenarios más desafiantes quedan excluidos, lo que limita el progreso significativo en el campo al centrarse en mejoras marginales en datos i.i.d. en lugar de en desafíos más amplios y exigentes. Para superar esto, presentamos BeyondArena, el primer punto de referencia unificado y holístico para datos tabulares que admite diversos tipos de tareas (i.i.d., temporales, agrupadas), en diferentes escalas de tamaño muestral y dimensionalidad de características, con diversos tipos de características (con texto, con alta cardinalidad) provenientes de un amplio espectro de disciplinas. Para permitir una evaluación comparativa unificada más allá de los puntos de referencia estándar, introducimos Data Foundry, un marco de trabajo en Python y un esquema de metadatos para seleccionar conjuntos de datos tabulares para aprendizaje automático predictivo. Nuestros resultados en 11 modelos y 142 conjuntos de datos seleccionados muestran que los modelos fundacionales tabulares existentes destacan en datos i.i.d. de tamaño pequeño a mediano, mientras que los modelos tradicionales basados en árboles y de aprendizaje profundo aún dominan en conjuntos de datos no i.i.d., grandes y de alta dimensionalidad. BeyondArena guía la investigación de modelos hacia los desafíos más exigentes en datos tabulares, permitiendo el avance hacia modelos tabulares verdaderamente fundacionales.

English

Foundation models for predictive machine learning on tabular data have recently gained significant traction in academia and industry. Research communities across disciplines are increasingly evaluating tabular foundation models on diverse datasets and tasks. However, these task- and discipline-specific evaluations remain largely inaccessible to model researchers because benchmark software and evaluation protocols are fragmented. As a result, model researchers rely on standard benchmarks, which are mostly defined for tasks where tabular foundation models already excel. The most challenging scenarios are excluded, limiting meaningful progress in the field by focusing on marginal improvements on IID data rather than on broader, more demanding challenges. To overcome this, we introduce BeyondArena, the first unified holistic benchmark for tabular data that supports diverse task types (IID, temporal, grouped), across sample size and feature dimensionality scales, with diverse feature types (with text, with high cardinality) from a broad range of disciplines. To enable unified benchmarking beyond standard benchmarks, we introduce Data Foundry, a Python framework and metadata schema for curating tabular datasets for predictive machine learning. Our results across 11 models and 142 curated datasets show that existing tabular foundation models excel on tiny- to medium-sized IID data, while traditional tree-based and deep learning models still dominate on non-IID, large, and high-dimensional datasets. BeyondArena guides model research for the most demanding challenges in tabular data, enabling progress towards truly foundational tabular models.