Quand les LLMs lisent négligemment les tableaux : Mesurer et réduire les erreurs de référencement de données

Résumé

Bien que les grands modèles de langage (LLMs) performent bien sur les tâches de tableaux, ils commettent encore des erreurs de référencement de données (DREs), c'est-à-dire qu'ils citent ou omettent incorrectement des valeurs de tableau, malgré la compréhension de la structure du tableau. Au-delà de la précision de la réponse finale, les DREs compromettent directement la justesse et la fiabilité des étapes de raisonnement intermédiaires. Cependant, les études antérieures n'ont proposé que des analyses limitées et à petite échelle. Dans ce travail, nous présentons la première évaluation systématique des erreurs de référencement de données tabulaires sur différents modèles et tâches. Nos résultats montrent que les DREs surviennent dans tous les modèles testés (de 1,7 à 20 milliards de paramètres). De plus, nous démontrons que l'intégration du référencement de données comme critique améliore significativement la précision des réponses jusqu'à 12,0 %, grâce au filtrage basé sur un critique et à l'échantillonnage par rejet. Enfin, nous avons entraîné un modèle critique léger de 4 milliards de paramètres qui atteint un score F1 moyen de 78,2 % pour détecter les DREs, à la fois dans la distribution et hors distribution, et assiste efficacement l'inférence pour des modèles plus grands.

English

While large language models (LLMs) perform well on table tasks, they still make data referencing errors (DREs), i.e., incorrectly citing or omitting table values, despite understanding the table structure. Beyond final-answer accuracy, DREs directly compromise the correctness and reliability of intermediate reasoning steps. Yet prior studies have only offered limited, small-scale analyses. In this work, we present the first systematic evaluation of tabular data referencing errors across different models and tasks. Our results show that DREs occur across all tested models (1.7B to 20B parameters). Furthermore, we demonstrate that incorporating data referencing as a critic significantly improves answer accuracy up to 12.0%, through critic-based filtering and rejection sampling. Finally, we trained a lightweight 4B-parameter critic model that achieves an average F1 score of 78.2% in detecting both in-distribution and out-of-distribution DREs, and effectively assists inference for larger models.