MulTaBench: Benchmarken van multimodaal tabellair leren met tekst en afbeelding

Samenvatting

Tabulaire Fundatiemodellen hebben recentelijk de state-of-the-art gevestigd in gesuperviseerd tabulair leren, door gebruik te maken van pretraining om generaliseerbare representaties van numerieke en categorische gestructureerde data te leren. Ze hebben echter geen native ondersteuning voor ongestructureerde modaliteiten zoals tekst en beeld, en vertrouwen op bevroren, vooraf getrainde embeddings om deze te verwerken. Op gevestigde Multimodale Tabulaire Leerbenchmarks tonen we aan dat het afstemmen van de embeddings op de taak de prestaties verbetert. Bestaande benchmarks richten zich echter vaak op louter de co-occurrentie van modaliteiten; dit leidt tot hoge variantie tussen datasets en verbergt de voordelen van taakspecifieke afstemming. Om deze lacune aan te pakken, introduceren we MulTaBench, een benchmark van 40 datasets, gelijk verdeeld over beeld-tabulaire en tekst-tabulaire taken. We richten ons op voorspellingstaken waarbij de modaliteiten complementaire voorspellende signalen bieden, en waarbij generieke embeddings cruciale informatie verliezen, wat taakgerichte representaties vereist die zijn afgestemd op de taak. Onze experimentele resultaten tonen aan dat de winst van het afstemmen van taakgerichte representaties generaliseert over zowel tekst- als beeldmodaliteiten, meerdere tabulaire leermethoden, encoderschalen en embeddingdimensies. MulTaBench vormt de grootste beeld-tabulaire benchmarkinspanning tot nu toe, die belangrijke domeinen zoals gezondheidszorg en e-commerce bestrijkt. Het is ontworpen om onderzoek naar nieuwe architecturen mogelijk te maken die gezamenlijke modellering en taakgerichte representaties integreren, en zo de weg vrijmaken voor de ontwikkeling van nieuwe Multimodale Tabulaire Fundatiemodellen.

English

Tabular Foundation Models have recently established the state of the art in supervised tabular learning, by leveraging pretraining to learn generalizable representations of numerical and categorical structured data. However, they lack native support for unstructured modalities such as text and image, and rely on frozen, pretrained embeddings to process them. On established Multimodal Tabular Learning benchmarks, we show that tuning the embeddings to the task improves performance. Existing benchmarks, however, often focus on the mere co-occurrence of modalities; this leads to high variance across datasets and masks the benefits of task-specific tuning. To address this gap, we introduce MulTaBench, a benchmark of 40 datasets, split equally between image-tabular and text-tabular tasks. We focus on predictive tasks where the modalities provide complementary predictive signal, and where generic embeddings lose critical information, necessitating Target-Aware Representations that are aligned with the task. Our experimental results demonstrate that the gains from target-aware representation tuning generalize across both text and image modalities, several tabular learners, encoder scales, and embedding dimensions. MulTaBench constitutes the largest image-tabular benchmarking effort to date, spanning high-impact domains such as healthcare and e-commerce. It is designed to enable the research of novel architectures which incorporate joint modeling and target-aware representations, paving the way for the development of novel Multimodal Tabular Foundation Models.