Quando os LLMs leem tabelas de forma descuidada: medindo e reduzindo erros de referência a dados

Resumo

Embora os grandes modelos de linguagem (LLMs) apresentem bom desempenho em tarefas com tabelas, eles ainda cometem erros de referência de dados (DREs), ou seja, citam incorretamente ou omitem valores de tabela, apesar de compreenderem a estrutura tabular. Além da precisão da resposta final, os DREs comprometem diretamente a correção e confiabilidade das etapas intermediárias de raciocínio. No entanto, estudos anteriores ofereceram apenas análises limitadas e em pequena escala. Neste trabalho, apresentamos a primeira avaliação sistemática de erros de referência a dados tabulares em diferentes modelos e tarefas. Nossos resultados mostram que DREs ocorrem em todos os modelos testados (de 1,7 bilhões a 20 bilhões de parâmetros). Além disso, demonstramos que a incorporação da referência a dados como um crítico melhora significativamente a precisão da resposta em até 12,0%, por meio de filtragem baseada em crítico e amostragem por rejeição. Por fim, treinamos um modelo crítico leve de 4 bilhões de parâmetros que atinge uma pontuação F1 média de 78,2% na detecção de DREs tanto dentro quanto fora da distribuição, e auxilia efetivamente a inferência de modelos maiores.

English

While large language models (LLMs) perform well on table tasks, they still make data referencing errors (DREs), i.e., incorrectly citing or omitting table values, despite understanding the table structure. Beyond final-answer accuracy, DREs directly compromise the correctness and reliability of intermediate reasoning steps. Yet prior studies have only offered limited, small-scale analyses. In this work, we present the first systematic evaluation of tabular data referencing errors across different models and tasks. Our results show that DREs occur across all tested models (1.7B to 20B parameters). Furthermore, we demonstrate that incorporating data referencing as a critic significantly improves answer accuracy up to 12.0%, through critic-based filtering and rejection sampling. Finally, we trained a lightweight 4B-parameter critic model that achieves an average F1 score of 78.2% in detecting both in-distribution and out-of-distribution DREs, and effectively assists inference for larger models.