多くの答えが有効な場合、投票は失敗する：LLMにおけるBest-of-K因果推論のための記号的検証

要旨

自己整合性（self-consistency）は、サンプリングされた推論トレースの中で最も頻度の高い解答が最も信頼できると仮定する。しかし、これは因果推論において失敗し得る。サンプルはしばしば同じ交絡誤差を繰り返し、投票は複数の有効な解答に分散するため、有効な少数派トレースが存在するにもかかわらず、無効な解答が勝利することがある。我々はCALVER（Causal Axiom-Level VERification）を導入する。これは訓練不要の記号的検証器であり、Pearlの因果基準（d分離、バックドア調整、介入を含む）に照らして構造化トレースをスコアリングし、参照解答を参照せずに最高スコアの候補を選択する。複数のグラフ有効な解答を許容するCLEARのfind-one-validクエリにおいて、CALVERは42.1%に達する。一方、同一の固定プールでは、多数決、報酬モデル、LLM判定器、モデルの信頼度は約30%に留まる。判定器を72Bにスケールしてもその差は埋まらない。監査済みのクリーンコア部分集合では、グラフ有効なCALVERの選択21件のうち11件が、ベンチマークの記載解答と異なる一方で、要求された述語を満たしている。この利点はサンプリング予算が増えるにつれて拡大し、公開された10個のベイジアンネットワーク、第2のモデルファミリー、およびモデルがテキストからグラフを構築しなければならない設定でも再現される。CALVERはまた、正確なグラウンドトゥルースに対する閾値付き平均処置効果の決定を改善し、真理値表チェッカーを用いた論理に一般化し、各候補をCPU上で数ミリ秒でスコアリングする。CALVERが必要とするのは因果構造だけであり、それは明示的に与えられるか、テキストから構築される。その条件が満たされる限り、選択は因果的妥当性によって集約できる。

English

Self-consistency assumes the most frequent answer among sampled reasoning traces is the most reliable, but this can fail in causal reasoning: samples often repeat the same confounding error, and votes fragment across multiple valid answers, letting an invalid answer win despite a valid minority trace. We introduce CALVER (Causal Axiom-Level VERification), a training-free symbolic verifier that scores structured traces against Pearl's causal criteria, including -separation, backdoor adjustment, and intervention, and selects the highest-scoring candidate without consulting a reference answer. On CLEAR find-one-valid queries that admit multiple graph-valid answers, CALVER reaches 42.1% where plurality, a reward model, an LLM judge, and model confidence remain near 30% on identical frozen pools. Scaling the judge to 72B does not close the gap. In an audited clean-core subset, 11 of 21 graph-valid CALVER selections differ from the benchmark's listed answer while still satisfying the requested predicate. The advantage widens with the sampling budget and reproduces across ten published Bayesian networks, a second model family, and settings where the model must build the graph from text. CALVER also improves thresholded average-treatment-effect decisions against exact ground truth, generalizes to logic under a truth-table checker, and scores each candidate in milliseconds on CPU. CALVER needs only a causal structure, supplied outright or built from the text; wherever that holds, selection can aggregate via causal validity.