유효한 답이 많을 때 투표는 실패한다: LLM의 Best-of-K 인과 추론을 위한 기호 검증

초록

자기 일관성(Self-consistency)은 샘플링된 추론 궤적들 중 가장 빈번한 답변이 가장 신뢰할 수 있다고 가정하지만, 이는 인과 추론에서 실패할 수 있다. 샘플들이 동일한 교란 오류를 반복하는 경우가 많고, 투표가 여러 유효한 답변에 분산되어 유효한 소수 궤적이 존재함에도 불구하고 무효한 답변이 승리할 수 있기 때문이다. 본 연구는 CALVER(Causal Axiom-Level VERification)를 도입한다. CALVER는 학습이 필요 없는 기호 검증기로서, d-분리(d-separation), 백도어 조정(backdoor adjustment), 개입(intervention)을 포함한 Pearl의 인과 기준에 따라 구조화된 추론 궤적을 점수화하고, 참조 정답을 참고하지 않고 최고 점수 후보를 선택한다. 여러 그래프 유효 답변을 허용하는 CLEAR find-one-valid 질의에서 CALVER는 42.1%를 달성한 반면, 동일한 고정 풀에서 다수결, 보상 모델, LLM 평가자, 모델 신뢰도는 모두 약 30%에 머물렀다. 평가자를 72B로 확장해도 격차는 좁혀지지 않았다. 감사된 클린코어 하위 집합에서 그래프 유효 CALVER 선택 21건 중 11건은 요청된 조건자는 충족하면서도 벤치마크에 수록된 정답과 달랐다. 이러한 이점은 샘플링 예산이 증가할수록 커지며, 10개의 발표된 베이지안 네트워크, 두 번째 모델 계열, 그리고 모델이 텍스트에서 그래프를 구축해야 하는 설정에서도 재현된다. CALVER는 또한 정확한 지상 진실(ground truth)에 대비한 임계값 기반 평균 치료 효과 결정을 개선하고, 진리표 검사기 하에서 논리 영역으로 일반화되며, CPU에서 각 후보를 수 밀리초 내에 점수화한다. CALVER는 명시적으로 제공되거나 텍스트에서 구축된 인과 구조만 있으면 되며, 이러한 조건이 충족되는 모든 곳에서 선택은 인과 타당성을 통해 집계될 수 있다.

English

Self-consistency assumes the most frequent answer among sampled reasoning traces is the most reliable, but this can fail in causal reasoning: samples often repeat the same confounding error, and votes fragment across multiple valid answers, letting an invalid answer win despite a valid minority trace. We introduce CALVER (Causal Axiom-Level VERification), a training-free symbolic verifier that scores structured traces against Pearl's causal criteria, including -separation, backdoor adjustment, and intervention, and selects the highest-scoring candidate without consulting a reference answer. On CLEAR find-one-valid queries that admit multiple graph-valid answers, CALVER reaches 42.1% where plurality, a reward model, an LLM judge, and model confidence remain near 30% on identical frozen pools. Scaling the judge to 72B does not close the gap. In an audited clean-core subset, 11 of 21 graph-valid CALVER selections differ from the benchmark's listed answer while still satisfying the requested predicate. The advantage widens with the sampling budget and reproduces across ten published Bayesian networks, a second model family, and settings where the model must build the graph from text. CALVER also improves thresholded average-treatment-effect decisions against exact ground truth, generalizes to logic under a truth-table checker, and scores each candidate in milliseconds on CPU. CALVER needs only a causal structure, supplied outright or built from the text; wherever that holds, selection can aggregate via causal validity.