Wenn LLMs Tabellen unachtsam lesen: Messen und Reduzieren von Datenreferenzfehlern

Zusammenfassung

Obwohl große Sprachmodelle (Large Language Models, LLMs) bei Tabellenaufgaben gute Leistungen erbringen, unterlaufen ihnen dennoch Datenreferenzierungsfehler (Data Referencing Errors, DREs), d. h. sie zitieren Tabellenwerte falsch oder lassen sie aus, obwohl sie die Tabellenstruktur verstehen. Über die Genauigkeit der endgültigen Antwort hinaus beeinträchtigen DREs direkt die Korrektheit und Zuverlässigkeit der Zwischenschritte bei der Argumentation. Bisherige Studien haben jedoch nur begrenzte Analysen in kleinem Maßstab geliefert. In dieser Arbeit präsentieren wir die erste systematische Bewertung von Datenreferenzierungsfehlern in Tabellen über verschiedene Modelle und Aufgaben hinweg. Unsere Ergebnisse zeigen, dass DREs in allen getesteten Modellen (1,7 bis 20 Milliarden Parameter) auftreten. Darüber hinaus demonstrieren wir, dass die Einbeziehung der Datenreferenzierung als Kritiker die Antwortgenauigkeit um bis zu 12,0 % verbessert, und zwar durch kritikerbasierte Filterung und Zurückweisungsstichproben. Schließlich trainierten wir ein leichtgewichtiges Kritikermodell mit 4 Milliarden Parametern, das einen durchschnittlichen F1-Wert von 78,2 % bei der Erkennung von sowohl innerhalb der Verteilung als auch außerhalb der Verteilung liegenden DREs erreicht und effektiv die Inferenz für größere Modelle unterstützt.

English

While large language models (LLMs) perform well on table tasks, they still make data referencing errors (DREs), i.e., incorrectly citing or omitting table values, despite understanding the table structure. Beyond final-answer accuracy, DREs directly compromise the correctness and reliability of intermediate reasoning steps. Yet prior studies have only offered limited, small-scale analyses. In this work, we present the first systematic evaluation of tabular data referencing errors across different models and tasks. Our results show that DREs occur across all tested models (1.7B to 20B parameters). Furthermore, we demonstrate that incorporating data referencing as a critic significantly improves answer accuracy up to 12.0%, through critic-based filtering and rejection sampling. Finally, we trained a lightweight 4B-parameter critic model that achieves an average F1 score of 78.2% in detecting both in-distribution and out-of-distribution DREs, and effectively assists inference for larger models.