MITS: 점별 상호정보량을 활용한 대형 언어 모델의 고도화된 트리 탐색 추론

MITS: Enhanced Tree Search Reasoning for LLMs via Pointwise Mutual Information

October 4, 2025

저자: Jiaxi Li, Yucheng Shi, Jin Lu, Ninghao Liu

cs.AI

초록

트리 탐색은 대규모 언어 모델(LLM)을 활용한 테스트 시간 추론의 대표적인 프레임워크로 자리 잡았으며, Tree-of-Thought 및 몬테카를로 트리 탐색과 같은 방법이 여러 추론 경로를 탐색하는 예로 잘 알려져 있습니다. 그러나 중간 추론 단계의 품질을 즉각적이고 신뢰할 수 있는 양적 평가로 제공하는 것은 여전히 어려우며, 광범위한 경로 탐색은 계산 비용이 많이 듭니다. 이를 해결하기 위해, 우리는 정보 이론적 원칙에 기반한 새로운 프레임워크인 상호 정보 트리 탐색(MITS)을 제안합니다. MITS는 점별 상호 정보(PMI)를 기반으로 한 효과적인 점수 함수를 도입하여, 비용이 많이 드는 미리 보기 시뮬레이션 없이도 빔 탐색을 통해 추론 경로의 단계별 평가와 탐색 트리 확장을 가능하게 하여, 계산 효율성을 유지하면서도 우수한 추론 성능을 달성합니다. 이 프레임워크는 엔트로피 기반의 동적 샘플링 전략으로 보완되어, 탐색이 가장 유익한 불확실한 추론 단계에 계산 자원을 적응적으로 할당합니다. 최종 예측을 위해, MITS는 PMI 점수와 예측 합의를 결합한 가중 투표 방식을 사용합니다. 다양한 추론 벤치마크에 대한 포괄적인 실험을 통해, MITS는 기준 방법들을 일관적으로 능가하며, LLM 추론을 위한 원칙적이고 효율적인 프레임워크를 확립합니다.

English

Tree search has become as a representative framework for test-time reasoning with large language models (LLMs), exemplified by methods such as Tree-of-Thought and Monte Carlo Tree Search that explore multiple reasoning paths. However, it remains difficult to provide instant and reliable quantitative assessments of intermediate reasoning step quality, and extensive path exploration is computationally costly. To address this, we propose Mutual Information Tree Search (MITS), a novel framework that guides reasoning with information-theoretic principles. MITS introduces an effective scoring function based on pointwise mutual information (PMI), which enables step-wise evaluation of reasoning paths and search tree expansion via beam search without expensive look-ahead simulations, achieving superior reasoning performances while maintaining computational efficiency. The framework is complemented by an entropy-based dynamic sampling strategy that adaptively allocates computational resources to uncertain reasoning steps where exploration is most beneficial. For final prediction, MITS employs a weighted voting scheme that combines PMI scores with prediction consensus. Through comprehensive experiments on diverse reasoning benchmarks, MITS consistently surpasses baseline methods, establishing a principled and efficient framework for LLM reasoning.