Verbetering van de robuustheid van tabelretrieval via representatiestabiliteit

Improving Robustness of Tabular Retrieval via Representational Stability

April 27, 2026

Auteurs: Kushal Raj Bhandari, Adarsh Singh, Jianxi Gao, Soham Dan, Vivek Gupta

cs.AI

Samenvatting

Transformer-gebaseerde tabelretrievalsystemen zetten gestructureerde tabellen om in tokenreeksen, waardoor de retrieval gevoelig wordt voor de keuze van serialisatie, zelfs wanneer de tabel semantiek ongewijzigd blijft. Wij tonen aan dat semantisch equivalente serialisaties, zoals csv, tsv, html, markdown en ddl, aanzienlijk verschillende embedding- en retrievalresultaten kunnen opleveren over meerdere benchmarks en retrieversfamilies. Om deze instabiliteit aan te pakken, behandelen we serialisatie-embedding als ruizige weergaven van een gedeeld semantisch signaal en gebruiken we de centroid ervan als een canonieke doelrepresentatie. Wij tonen aan dat centroid-gemiddelden formaatspecifieke variatie onderdrukken en de semantische inhoud die gemeenschappelijk is voor verschillende serialisaties kunnen herstellen wanneer formaat-geïnduceerde verschuivingen tussen tabellen verschillen. Empirisch overtreffen centroid-representaties individuele formaten in geaggregeerde paarsgewijze vergelijkingen over MPNet, BGE-M3, ReasonIR en SPLADE. Wij introduceren verder een lichtgewicht residuale bottleneck-adapter bovenop een bevroren encoder die embedding van enkele serialisaties afbeeldt naar centroid-doelen, waarbij variantie behouden blijft en covariantie-regularisatie wordt afgedwongen. De adapter verbetert de robuustheid voor verschillende dense retrievers, hoewel de winsten modelafhankelijk zijn en zwakker voor sparse lexicale retrieval. Deze resultaten identificeren serialisatiegevoeligheid als een belangrijke bron van retrievalvariantie en tonen de belofte van post hoc geometrische correctie voor serialisatie-invariante tabelretrieval. Onze code, datasets en modellen zijn beschikbaar op https://github.com/KBhandari11/Centroid-Aligned-Table-Retrieval.

English

Transformer-based table retrieval systems flatten structured tables into token sequences, making retrieval sensitive to the choice of serialization even when table semantics remain unchanged. We show that semantically equivalent serializations, such as csv, tsv, html, markdown, and ddl, can produce substantially different embeddings and retrieval results across multiple benchmarks and retriever families. To address this instability, we treat serialization embedding as noisy views of a shared semantic signal and use its centroid as a canonical target representation. We show that centroid averaging suppresses format-specific variation and can recover the semantic content common to different serializations when format-induced shifts differ across tables. Empirically, centroid representations outrank individual formats in aggregate pairwise comparisons across MPNet, BGE-M3, ReasonIR, and SPLADE. We further introduce a lightweight residual bottleneck adapter on top of a frozen encoder that maps single-serialization embeddings towards centroid targets while preserving variance and enforcing covariance regularization. The adapter improves robustness for several dense retrievers, though gains are model-dependent and weaker for sparse lexical retrieval. These results identify serialization sensitivity as a major source of retrieval variance and show the promise of post hoc geometric correction for serialization-invariant table retrieval. Our code, datasets, and models are available at https://github.com/KBhandari11/Centroid-Aligned-Table-Retrieval{https://github.com/KBhandari11/Centroid-Aligned-Table-Retrieval}.