Когда LLM небрежно читают таблицы: измерение и уменьшение ошибок при обращении к данным

Аннотация

Хотя большие языковые модели (LLM) хорошо справляются с задачами, связанными с таблицами, они всё же допускают ошибки ссылок на данные (ОСД), то есть некорректно цитируют или пропускают значения таблиц, несмотря на понимание структуры таблицы. Помимо точности итогового ответа, ОСД напрямую подрывают корректность и надёжность промежуточных этапов рассуждения. Однако предыдущие исследования предлагали лишь ограниченный мелкомасштабный анализ. В этой работе мы представляем первую систематическую оценку ошибок ссылок на табличные данные для различных моделей и задач. Наши результаты показывают, что ОСД возникают во всех протестированных моделях (от 1,7 миллиарда до 20 миллиардов параметров). Кроме того, мы демонстрируем, что включение ссылок на данные в качестве критика значительно повышает точность ответов – до 12,0% – с помощью фильтрации на основе критика и выборки с отклонением. Наконец, мы обучили лёгкую модель-критик с 4 миллиардами параметров, которая достигает среднего F1-показателя 78,2% в обнаружении как ошибок ОСД внутри распределения, так и вне его, и эффективно помогает в выводе для более крупных моделей.

English

While large language models (LLMs) perform well on table tasks, they still make data referencing errors (DREs), i.e., incorrectly citing or omitting table values, despite understanding the table structure. Beyond final-answer accuracy, DREs directly compromise the correctness and reliability of intermediate reasoning steps. Yet prior studies have only offered limited, small-scale analyses. In this work, we present the first systematic evaluation of tabular data referencing errors across different models and tasks. Our results show that DREs occur across all tested models (1.7B to 20B parameters). Furthermore, we demonstrate that incorporating data referencing as a critic significantly improves answer accuracy up to 12.0%, through critic-based filtering and rejection sampling. Finally, we trained a lightweight 4B-parameter critic model that achieves an average F1 score of 78.2% in detecting both in-distribution and out-of-distribution DREs, and effectively assists inference for larger models.