LLMが表を不注意に読み取るとき：データ参照エラーの測定と低減

要旨

大規模言語モデル（LLM）はテーブルタスクにおいて高い性能を発揮するものの、テーブル構造を理解しているにもかかわらず、依然としてデータ参照エラー（DRE）、すなわちテーブル値の誤った引用や省略を引き起こす。最終的な回答の正しさに加え、DREは中間推論ステップの正確性と信頼性を直接損なう。しかしながら、従来の研究は限定的かつ小規模な分析にとどまっている。本研究では、異なるモデルやタスクにわたるテーブルデータの参照エラーに関する初の体系的な評価を提示する。実験結果から、DREは検証したすべてのモデル（パラメータ数17億から200億）で発生することが明らかになった。さらに、データ参照を批評（critic）として組み込むことで、批評モデルベースのフィルタリングと拒否サンプリングを通じて、回答精度を最大12.0%向上できることを実証した。最終的に、軽量な40億パラメータの批評モデルを訓練し、分布内および分布外のDRE検出において平均F1スコア78.2%を達成し、大規模モデルの推論を効果的に支援することを示した。

English

While large language models (LLMs) perform well on table tasks, they still make data referencing errors (DREs), i.e., incorrectly citing or omitting table values, despite understanding the table structure. Beyond final-answer accuracy, DREs directly compromise the correctness and reliability of intermediate reasoning steps. Yet prior studies have only offered limited, small-scale analyses. In this work, we present the first systematic evaluation of tabular data referencing errors across different models and tasks. Our results show that DREs occur across all tested models (1.7B to 20B parameters). Furthermore, we demonstrate that incorporating data referencing as a critic significantly improves answer accuracy up to 12.0%, through critic-based filtering and rejection sampling. Finally, we trained a lightweight 4B-parameter critic model that achieves an average F1 score of 78.2% in detecting both in-distribution and out-of-distribution DREs, and effectively assists inference for larger models.