Wanneer LLM's tabellen onzorgvuldig lezen: het meten en verminderen van dataverwijzingsfouten

Samenvatting

Hoewel grote taalmodellen (LLMs) goed presteren op tabeltaken, maken zij nog steeds dataverwijzingsfouten (DREs), d.w.z. het onjuist citeren of weglaten van tabelwaarden, ondanks dat zij de tabelstructuur begrijpen. Naast de nauwkeurigheid van het eindantwoord tasten DREs direct de correctheid en betrouwbaarheid van tussenliggende redeneerstappen aan. Toch hebben eerdere studies slechts beperkte, kleinschalige analyses geboden. In dit werk presenteren wij de eerste systematische evaluatie van dataverwijzingsfouten in tabellen over verschillende modellen en taken heen. Onze resultaten tonen aan dat DREs bij alle geteste modellen (1,7B tot 20B parameters) voorkomen. Bovendien tonen we aan dat het opnemen van dataverwijzing als een criticus de nauwkeurigheid van antwoorden aanzienlijk verbetert met tot 12,0%, door middel van criticus-gebaseerde filtering en rejectie-sampling. Ten slotte hebben we een lichtgewicht criticusmodel met 4 miljard parameters getraind dat een gemiddelde F1-score van 78,2% behaalt bij het detecteren van zowel binnen- als buiten-distributie DREs, en effectief helpt bij de inferentie voor grotere modellen.

English

While large language models (LLMs) perform well on table tasks, they still make data referencing errors (DREs), i.e., incorrectly citing or omitting table values, despite understanding the table structure. Beyond final-answer accuracy, DREs directly compromise the correctness and reliability of intermediate reasoning steps. Yet prior studies have only offered limited, small-scale analyses. In this work, we present the first systematic evaluation of tabular data referencing errors across different models and tasks. Our results show that DREs occur across all tested models (1.7B to 20B parameters). Furthermore, we demonstrate that incorporating data referencing as a critic significantly improves answer accuracy up to 12.0%, through critic-based filtering and rejection sampling. Finally, we trained a lightweight 4B-parameter critic model that achieves an average F1 score of 78.2% in detecting both in-distribution and out-of-distribution DREs, and effectively assists inference for larger models.