MulTaBench : Évaluation comparative de l'apprentissage tabulaire multimodal avec texte et image

Résumé

Les modèles fondation tabulaires ont récemment établi l'état de l'art en apprentissage tabulaire supervisé, en exploitant le pré-entraînement pour apprendre des représentations généralisables de données structurées numériques et catégorielles. Cependant, ils ne prennent pas en charge nativement les modalités non structurées telles que le texte et l'image, et s'appuient sur des embeddings figés et pré-entraînés pour les traiter. Sur des bancs d'essai établis d'apprentissage tabulaire multimodal, nous montrons qu'ajuster les embeddings à la tâche améliore les performances. Les bancs d'essai existants, pourtant, se concentrent souvent sur la simple cooccurrence des modalités ; cela conduit à une variance élevée entre les jeux de données et masque les bénéfices d'un ajustement spécifique à la tâche. Pour combler cette lacune, nous introduisons MulTaBench, un banc d'essai de 40 jeux de données, répartis équitablement entre des tâches image-tabulaire et texte-tabulaire. Nous nous concentrons sur des tâches prédictives où les modalités fournissent un signal prédictif complémentaire, et où les embeddings génériques perdent des informations critiques, nécessitant des représentations conscientes de la cible, alignées sur la tâche. Nos résultats expérimentaux démontrent que les gains provenant de l'ajustement des représentations conscientes de la cible se généralisent à la fois aux modalités texte et image, à plusieurs apprenants tabulaires, échelles d'encodeur et dimensions d'embedding. MulTaBench constitue le plus grand effort d'évaluation comparative image-tabulaire à ce jour, couvrant des domaines à fort impact tels que la santé et le commerce électronique. Il est conçu pour permettre la recherche de nouvelles architectures intégrant une modélisation conjointe et des représentations conscientes de la cible, ouvrant la voie au développement de nouveaux modèles fondation tabulaires multimodaux.

English

Tabular Foundation Models have recently established the state of the art in supervised tabular learning, by leveraging pretraining to learn generalizable representations of numerical and categorical structured data. However, they lack native support for unstructured modalities such as text and image, and rely on frozen, pretrained embeddings to process them. On established Multimodal Tabular Learning benchmarks, we show that tuning the embeddings to the task improves performance. Existing benchmarks, however, often focus on the mere co-occurrence of modalities; this leads to high variance across datasets and masks the benefits of task-specific tuning. To address this gap, we introduce MulTaBench, a benchmark of 40 datasets, split equally between image-tabular and text-tabular tasks. We focus on predictive tasks where the modalities provide complementary predictive signal, and where generic embeddings lose critical information, necessitating Target-Aware Representations that are aligned with the task. Our experimental results demonstrate that the gains from target-aware representation tuning generalize across both text and image modalities, several tabular learners, encoder scales, and embedding dimensions. MulTaBench constitutes the largest image-tabular benchmarking effort to date, spanning high-impact domains such as healthcare and e-commerce. It is designed to enable the research of novel architectures which incorporate joint modeling and target-aware representations, paving the way for the development of novel Multimodal Tabular Foundation Models.