LLM이 테이블을 부주의하게 읽을 때: 데이터 참조 오류의 측정 및 감소

초록

대규모 언어 모델(LLM)은 테이블 작업에서 우수한 성능을 보이지만, 테이블 구조를 이해함에도 불구하고 데이터 참조 오류(DRE), 즉 테이블 값을 잘못 인용하거나 누락하는 오류를 여전히 발생시킨다. 최종 정답 정확도 외에도 DRE는 중간 추론 단계의 정확성과 신뢰성을 직접적으로 저하시킨다. 그러나 기존 연구는 제한적이고 소규모의 분석만을 제공했다. 본 연구에서는 다양한 모델과 작업에 걸쳐 테이블 데이터 참조 오류에 대한 최초의 체계적 평가를 제시한다. 결과에 따르면 DRE는 테스트된 모든 모델(1.7B에서 20B 파라미터)에서 발생한다. 또한, 데이터 참조를 비평(critic)으로 통합함으로써 비평 기반 필터링과 거절 샘플링을 통해 정답 정확도를 최대 12.0%까지 크게 향상시킬 수 있음을 보여준다. 마지막으로, 분포 내 및 분포 외 DRE를 탐지하는 데 평균 F1 점수 78.2%를 달성하고 더 큰 모델의 추론을 효과적으로 지원하는 경량의 4B 파라미터 비평 모델을 훈련했다.

English

While large language models (LLMs) perform well on table tasks, they still make data referencing errors (DREs), i.e., incorrectly citing or omitting table values, despite understanding the table structure. Beyond final-answer accuracy, DREs directly compromise the correctness and reliability of intermediate reasoning steps. Yet prior studies have only offered limited, small-scale analyses. In this work, we present the first systematic evaluation of tabular data referencing errors across different models and tasks. Our results show that DREs occur across all tested models (1.7B to 20B parameters). Furthermore, we demonstrate that incorporating data referencing as a critic significantly improves answer accuracy up to 12.0%, through critic-based filtering and rejection sampling. Finally, we trained a lightweight 4B-parameter critic model that achieves an average F1 score of 78.2% in detecting both in-distribution and out-of-distribution DREs, and effectively assists inference for larger models.