群盲象を撫でる：ロングテールな分岐知識下における大規模言語モデルの認識的近視の探求

要旨

事実に基づく質問応答（QA）は通常、単一の標準的回答を前提としており、大規模言語モデル（LLM）がロングテールな事実に関する多様な記述を保持しているかどうかを不明瞭にしている。このギャップを埋めるため、我々はElephantBenchを導入する。これは、監査可能なグラフベースのパイプラインにより生成された1,094問からなるクローズドブック知識プローブである。このパイプラインは、曝露度の低いウェブコーパスから関連文書を取得し、自然に発生する記述間の相違を特定して、それらを複数記述QAレコードに変換する。各回答は、出典文書および信頼できる公開ウェブソースに対して検証され、さらに人間のアノテーターによるレビューを受ける。32モデルを対象とした評価では、最強のモデルでも質問の52.4%においてのみ両方の記述を再現でき、残りのほぼ全ての質問では一方の記述のみを想起し、他方が欠落していた。モデルサイズと推論時推論のスケーリングは想起率を向上させるが、この不完全性を解消するには至らない。コーパス分析はさらに、曝露の不均衡が支配的な記述に有利に働く一方、マイノリティ側への曝露が大きいほど想起がより完全になることを示している。これらの知見は、ElephantBenchをパラメトリックメモリにおける認識的近視を診断するための再現可能な知識プローブとして確立する。さらに広く見れば、我々のグラフベースのベンチマーク構築パイプラインは、ロングテールコーパスをソース追跡可能な知識プローブへと変換する効率的かつスケーラブルな方法を提供し、次世代LLMの認識論的厳密性を評価・向上させる取り組みを支援する。コードはhttps://github.com/Tencent/ElephantBenchで公開されている。

English

Factual question answering (QA) typically assumes a single canonical answer, obscuring whether large language models (LLMs) retain divergent accounts of long-tail facts. To address this gap, we introduce ElephantBench, a closed-book knowledge probe comprising 1,094 questions generated through an auditable graph-based pipeline. The pipeline retrieves related documents from a low-exposure web corpus, identifies naturally occurring disagreements, and converts them into multi-account QA records. Each answer is verified against the originating documents and authoritative public web sources and is then reviewed by human annotators. Across 32 models, even the strongest model recovers both accounts on only 52.4% of questions, while on nearly all remaining questions it recalls one account but omits the other. Scaling model size and inference-time reasoning improve recall but do not eliminate this incompleteness. Corpus analysis further shows that exposure imbalance favors the dominant account, whereas greater minority-side exposure is associated with more complete recall. These findings establish ElephantBench as a reproducible knowledge probe for diagnosing epistemic myopia in parametric memory. More broadly, our graph-based benchmark construction pipeline provides an efficient and scalable way to turn long-tail corpora into source-traceable knowledge probes, supporting efforts to evaluate and advance the epistemic rigour of next-generation LLMs. Code is available at https://github.com/Tencent/ElephantBench.