MulTaBench: Avaliação Comparativa de Aprendizado Tabular Multimodal com Texto e Imagem

Resumo

Modelos de Fundação Tabulares estabeleceram recentemente o estado da arte em aprendizado tabular supervisionado, ao empregar pré-treinamento para aprender representações generalizáveis de dados estruturados numéricos e categóricos. No entanto, esses modelos carecem de suporte nativo para modalidades não estruturadas, como texto e imagem, dependendo de embeddings pré-treinados congelados para processá-las. Em benchmarks consolidados de Aprendizado Tabular Multimodal, demonstramos que ajustar os embeddings à tarefa melhora o desempenho. No entanto, os benchmarks existentes frequentemente se concentram na mera coocorrência de modalidades; isso leva a uma alta variância entre conjuntos de dados e mascara os benefícios do ajuste específico à tarefa. Para preencher essa lacuna, apresentamos o MulTaBench, um benchmark composto por 40 conjuntos de dados, divididos igualmente entre tarefas imagem-tabular e texto-tabular. Focamos em tarefas preditivas onde as modalidades fornecem sinal preditivo complementar, e onde embeddings genéricos perdem informações críticas, exigindo Representações Conscientes do Alvo que estejam alinhadas com a tarefa. Nossos resultados experimentais demonstram que os ganhos obtidos com o ajuste das representações conscientes do alvo se generalizam tanto para as modalidades de texto quanto de imagem, abrangendo diversos aprendizes tabulares, escalas de codificador e dimensões de embedding. O MulTaBench constitui o maior esforço de benchmarking imagem-tabular até a data, abrangendo domínios de alto impacto, como saúde e comércio eletrônico. Ele é projetado para viabilizar a pesquisa de novas arquiteturas que incorporem modelagem conjunta e representações conscientes do alvo, pavimentando o caminho para o desenvolvimento de novos Modelos de Fundação Tabulares Multimodais.

English

Tabular Foundation Models have recently established the state of the art in supervised tabular learning, by leveraging pretraining to learn generalizable representations of numerical and categorical structured data. However, they lack native support for unstructured modalities such as text and image, and rely on frozen, pretrained embeddings to process them. On established Multimodal Tabular Learning benchmarks, we show that tuning the embeddings to the task improves performance. Existing benchmarks, however, often focus on the mere co-occurrence of modalities; this leads to high variance across datasets and masks the benefits of task-specific tuning. To address this gap, we introduce MulTaBench, a benchmark of 40 datasets, split equally between image-tabular and text-tabular tasks. We focus on predictive tasks where the modalities provide complementary predictive signal, and where generic embeddings lose critical information, necessitating Target-Aware Representations that are aligned with the task. Our experimental results demonstrate that the gains from target-aware representation tuning generalize across both text and image modalities, several tabular learners, encoder scales, and embedding dimensions. MulTaBench constitutes the largest image-tabular benchmarking effort to date, spanning high-impact domains such as healthcare and e-commerce. It is designed to enable the research of novel architectures which incorporate joint modeling and target-aware representations, paving the way for the development of novel Multimodal Tabular Foundation Models.