Cuando los LLMs leen tablas descuidadamente: Midiendo y reduciendo errores de referencia a datos

Resumen

Aunque los modelos de lenguaje grandes (LLMs) se desempeñan bien en tareas con tablas, aún cometen errores de referencia a datos (DREs), es decir, citan incorrectamente u omiten valores de la tabla, a pesar de comprender la estructura de la misma. Más allá de la precisión de la respuesta final, los DREs comprometen directamente la corrección y fiabilidad de los pasos intermedios de razonamiento. Sin embargo, estudios previos solo han ofrecido análisis limitados y a pequeña escala. En este trabajo, presentamos la primera evaluación sistemática de errores de referencia a datos tabulares en diferentes modelos y tareas. Nuestros resultados muestran que los DREs ocurren en todos los modelos probados (de 1.7B a 20B parámetros). Además, demostramos que incorporar la referencia a datos como un crítico mejora significativamente la precisión de las respuestas hasta en un 12.0%, mediante filtrado basado en crítico y muestreo por rechazo. Finalmente, entrenamos un modelo crítico ligero de 4B parámetros que logra una puntuación F1 promedio del 78.2% en la detección de DREs tanto dentro como fuera de la distribución, y asiste eficazmente la inferencia de modelos más grandes.

English

While large language models (LLMs) perform well on table tasks, they still make data referencing errors (DREs), i.e., incorrectly citing or omitting table values, despite understanding the table structure. Beyond final-answer accuracy, DREs directly compromise the correctness and reliability of intermediate reasoning steps. Yet prior studies have only offered limited, small-scale analyses. In this work, we present the first systematic evaluation of tabular data referencing errors across different models and tasks. Our results show that DREs occur across all tested models (1.7B to 20B parameters). Furthermore, we demonstrate that incorporating data referencing as a critic significantly improves answer accuracy up to 12.0%, through critic-based filtering and rejection sampling. Finally, we trained a lightweight 4B-parameter critic model that achieves an average F1 score of 78.2% in detecting both in-distribution and out-of-distribution DREs, and effectively assists inference for larger models.