TabEmbed: Benchmarken en Leren van Algemene Inbeddingen voor Tabellair Begrip
TabEmbed: Benchmarking and Learning Generalist Embeddings for Tabular Understanding
May 6, 2026
Auteurs: Minjie Qiang, Mingming Zhang, Xiaoyi Bao, Xing Fu, Yu Cheng, Weiqiang Wang, Zhongqing Wang, Ningtao Wang
cs.AI
Samenvatting
Foundationmodellen hebben gestandaardiseerde representaties gecreëerd voor natuurlijke taalverwerking, maar dit paradigma blijft grotendeels onontgonnen voor tabelgegevens. Bestaande methoden kampen met fundamentele beperkingen: op LLM gebaseerde benaderingen missen retrieval-compatibele vectoruitvoer, terwijl tekst-embeddingmodellen vaak de tabelstructuur en numerieke semantiek niet goed vastleggen. Om deze kloof te overbruggen, introduceren we eerst de Tabular Embedding Benchmark (TabBench), een uitgebreide testset ontworpen om het tabelbegrip van embeddingmodellen te evalueren. Vervolgens presenteren we TabEmbed, het eerste generalistische embeddingmodel dat tabelclassificatie en retrieval verenigt binnen een gedeelde embedded ruimte. Door diverse tabeltaken te herformuleren als semantische matchingproblemen, benut TabEmbed grootschalig contrastief leren met positief-bewuste hard negative mining om fijnmazige structurele en numerieke nuances te onderscheiden. Experimentele resultaten op TabBench tonen aan dat TabEmbed aanzienlijk beter presteert dan state-of-the-art tekst-embeddingmodellen, en zo een nieuwe basislijn vestigt voor universele tabelrepresentatieleren. Code en datasets zijn openbaar beschikbaar op https://github.com/qiangminjie27/TabEmbed en https://huggingface.co/datasets/qiangminjie27/TabBench.
English
Foundation models have established unified representations for natural language processing, yet this paradigm remains largely unexplored for tabular data. Existing methods face fundamental limitations: LLM-based approaches lack retrieval-compatible vector outputs, whereas text embedding models often fail to capture tabular structure and numerical semantics. To bridge this gap, we first introduce the Tabular Embedding Benchmark (TabBench), a comprehensive suite designed to evaluate the tabular understanding capability of embedding models. We then propose TabEmbed, the first generalist embedding model that unifies tabular classification and retrieval within a shared embedding space. By reformulating diverse tabular tasks as semantic matching problems, TabEmbed leverages large-scale contrastive learning with positive-aware hard negative mining to discern fine-grained structural and numerical nuances. Experimental results on TabBench demonstrate that TabEmbed significantly outperforms state-of-the-art text embedding models, establishing a new baseline for universal tabular representation learning. Code and datasets are publicly available at https://github.com/qiangminjie27/TabEmbed and https://huggingface.co/datasets/qiangminjie27/TabBench.