Miglioramento della Robustezza del Recupero Tabellare tramite Stabilità Rappresentazionale

Improving Robustness of Tabular Retrieval via Representational Stability

April 27, 2026

Autori: Kushal Raj Bhandari, Adarsh Singh, Jianxi Gao, Soham Dan, Vivek Gupta

cs.AI

Abstract

I sistemi di recupero di tabelle basati su Transformer appiattiscono le tabelle strutturate in sequenze di token, rendendo il recupero sensibile alla scelta della serializzazione anche quando la semantica della tabella rimane invariata. Dimostriamo che serializzazioni semanticamente equivalenti, come csv, tsv, html, markdown e ddl, possono produrre embedding e risultati di recupero sostanzialmente diversi su più benchmark e famiglie di retriever. Per affrontare questa instabilità, trattiamo l'embedding della serializzazione come viste rumorose di un segnale semantico condiviso e utilizziamo il suo centroide come rappresentazione target canonica. Mostriamo che la media del centroide sopprime la variazione specifica del formato e può recuperare il contenuto semantico comune a diverse serializzazioni quando gli spostamenti indotti dal formato differiscono tra le tabelle. Empiricamente, le rappresentazioni centroidi superano i singoli formati nei confronti a coppie aggregati su MPNet, BGE-M3, ReasonIR e SPLADE. Introduciamo inoltre un adattatore bottleneck residuale leggero sopra un encoder congelato che mappa gli embedding a singola serializzazione verso i target centroidi, preservando la varianza e applicando una regolarizzazione della covarianza. L'adattatore migliora la robustezza per diversi retriever densi, sebbene i guadagni siano dipendenti dal modello e più deboli per il recupero lessicale sparso. Questi risultati identificano la sensibilità alla serializzazione come una fonte principale di varianza nel recupero e mostrano la promessa della correzione geometrica post hoc per il recupero di tabelle invariante alla serializzazione. Il nostro codice, dataset e modelli sono disponibili all'indirizzo https://github.com/KBhandari11/Centroid-Aligned-Table-Retrieval.

English

Transformer-based table retrieval systems flatten structured tables into token sequences, making retrieval sensitive to the choice of serialization even when table semantics remain unchanged. We show that semantically equivalent serializations, such as csv, tsv, html, markdown, and ddl, can produce substantially different embeddings and retrieval results across multiple benchmarks and retriever families. To address this instability, we treat serialization embedding as noisy views of a shared semantic signal and use its centroid as a canonical target representation. We show that centroid averaging suppresses format-specific variation and can recover the semantic content common to different serializations when format-induced shifts differ across tables. Empirically, centroid representations outrank individual formats in aggregate pairwise comparisons across MPNet, BGE-M3, ReasonIR, and SPLADE. We further introduce a lightweight residual bottleneck adapter on top of a frozen encoder that maps single-serialization embeddings towards centroid targets while preserving variance and enforcing covariance regularization. The adapter improves robustness for several dense retrievers, though gains are model-dependent and weaker for sparse lexical retrieval. These results identify serialization sensitivity as a major source of retrieval variance and show the promise of post hoc geometric correction for serialization-invariant table retrieval. Our code, datasets, and models are available at https://github.com/KBhandari11/Centroid-Aligned-Table-Retrieval{https://github.com/KBhandari11/Centroid-Aligned-Table-Retrieval}.