장님과 코끼리: 롱테일 분기 지식 하에서 대규모 언어 모델의 인식론적 근시 탐구

초록

사실 기반 질의응답(QA)은 일반적으로 단일 표준 답변을 전제로 하므로, 대규모 언어 모델(LLM)이 롱테일(long-tail) 사실에 대해 서로 다른 기술(記述)을 유지하고 있는지가 모호하게 남는다. 이러한 간극을 해소하기 위해, 우리는 감사 가능한(auditable) 그래프 기반 파이프라인을 통해 생성된 1,094개 질문으로 구성된 폐쇄형(closed-book) 지식 프로브인 ElephantBench를 제안한다. 해당 파이프라인은 노출도가 낮은 웹 코퍼스에서 관련 문서를 검색하고, 자연적으로 발생하는 불일치를 식별한 뒤, 이를 다중 기술 QA 레코드로 변환한다. 각 답변은 출처 문서와 권위 있는 공개 웹 소스를 대조해 검증되며, 이후 인간 주석자들의 검토를 거친다. 32개 모델을 대상으로 한 평가에서 가장 강력한 모델조차도 질문의 52.4%에서만 두 기술을 모두 회상했으며, 나머지 거의 모든 질문에서는 한 기술만 회상하고 다른 기술은 누락하는 것으로 나타났다. 모델 규모와 추론 시점 추론(inference-time reasoning)의 확장은 회상률을 개선하지만, 이러한 불완전성을 제거하지는 못한다. 코퍼스 분석은 또한 노출 불균형이 우세한 기술에 유리하게 작용하는 반면, 소수 측의 더 큰 노출은 더 완전한 회상과 연관됨을 보여준다. 이러한 발견은 ElephantBench를 파라메트릭 메모리의 인식론적 근시(epistemic myopia)를 진단하는 재현 가능한 지식 프로브로 확립한다. 보다 포괄적으로, 우리의 그래프 기반 벤치마크 구축 파이프라인은 롱테일 코퍼스를 출처 추적 가능한 지식 프로브로 전환하는 효율적이고 확장 가능한 방식을 제공하며, 차세대 LLM의 인식론적 엄밀성을 평가하고 향상시키기 위한 노력을 지원한다. 코드는 https://github.com/Tencent/ElephantBench에서 확인할 수 있다.

English

Factual question answering (QA) typically assumes a single canonical answer, obscuring whether large language models (LLMs) retain divergent accounts of long-tail facts. To address this gap, we introduce ElephantBench, a closed-book knowledge probe comprising 1,094 questions generated through an auditable graph-based pipeline. The pipeline retrieves related documents from a low-exposure web corpus, identifies naturally occurring disagreements, and converts them into multi-account QA records. Each answer is verified against the originating documents and authoritative public web sources and is then reviewed by human annotators. Across 32 models, even the strongest model recovers both accounts on only 52.4% of questions, while on nearly all remaining questions it recalls one account but omits the other. Scaling model size and inference-time reasoning improve recall but do not eliminate this incompleteness. Corpus analysis further shows that exposure imbalance favors the dominant account, whereas greater minority-side exposure is associated with more complete recall. These findings establish ElephantBench as a reproducible knowledge probe for diagnosing epistemic myopia in parametric memory. More broadly, our graph-based benchmark construction pipeline provides an efficient and scalable way to turn long-tail corpora into source-traceable knowledge probes, supporting efforts to evaluate and advance the epistemic rigour of next-generation LLMs. Code is available at https://github.com/Tencent/ElephantBench.