Enoki：効率的なマルチレベル幻覚検出

要旨

事実性の確保は、リスクの高い環境でLLMを導入する上で依然として重要な課題である。既存の幻覚検出器は通常、単一レベルで動作する。すなわち、主張レベルの手法は解釈可能な事実単位を提供する一方、スパンレベルの手法は裏付けのないテキストを特定する。これら二つの視点を橋渡しするにはコストがかかる。というのも、LLMを多用するパイプラインでは分解と検証のための呼び出しが複数回必要となり、モジュール式システムでは主張とスパンの対応付けが別途必要となるからである。本稿では、マルチレベルの幻覚検出のためのオープン情報抽出フレームワークEnokiを提案する。Enokiはテキストに紐付けられた関係事実を抽出し、それらを証拠と照合して検証し、裏付けのない事実を幻覚スパンへと逆投影する。この共有表現により、別途の対応付けを必要とせずに、主張レベルの検証とスパンレベルの位置特定が可能になる。EnokiはLLMベース、エンコーダベース、ルールベースの抽出方式をサポートし、共通インターフェースを通じて精度と推論コストのバランスを実現する。実験の結果、Enokiは少ないリソースで強力な主張レベルシステムと遜色ない性能を維持し、細粒度のスパンレベルおよびエンティティレベルの位置特定では優れた性能を達成することが示された。さらに、主張レベルの検証アノテーションとスパンレベルの位置特定アノテーションを対応付けた二重粒度データセットであるEnokiQAも公開する。

English

Ensuring factuality remains a critical challenge for deploying LLMs in high-stakes settings. Existing hallucination detectors usually operate at a single level: claim-level methods provide interpretable factual units, while span-level methods localize unsupported text. Bridging these views is costly, as LLM-heavy pipelines require multiple decomposition and verification calls, and modular systems need additional claim-to-span alignment. We propose Enoki, an Open Information Extraction framework for multi-level hallucination detection. Enoki extracts text-anchored relational facts, verifies them against evidence, and projects unsupported facts back to hallucinated spans. This shared representation enables claim-level verification and span-level localization without requiring separate alignment. Enoki supports LLM-based, encoder-based, and rule-based extraction regimes, balancing accuracy and inference cost through a common interface. Experiments show that Enoki remains competitive with strong claim-level systems while using fewer resources and achieves superior performance on fine-grained span- and entity-level localization. We also release EnokiQA, a dual-granularity dataset with aligned claim-level verification and span-level localization annotations.