MITS: Aprimoramento do Raciocínio por Busca em Árvore para LLMs via Informação Mútua Pontual

MITS: Enhanced Tree Search Reasoning for LLMs via Pointwise Mutual Information

October 4, 2025

Autores: Jiaxi Li, Yucheng Shi, Jin Lu, Ninghao Liu

cs.AI

Resumo

A busca em árvore emergiu como um framework representativo para raciocínio em tempo de teste com grandes modelos de linguagem (LLMs), exemplificado por métodos como Árvore de Pensamentos e Busca em Árvore de Monte Carlo, que exploram múltiplos caminhos de raciocínio. No entanto, ainda é difícil fornecer avaliações quantitativas instantâneas e confiáveis da qualidade das etapas intermediárias de raciocínio, e a exploração extensiva de caminhos é computacionalmente custosa. Para resolver isso, propomos a Busca em Árvore de Informação Mútua (MITS), um framework inovador que guia o raciocínio com princípios da teoria da informação. O MITS introduz uma função de pontuação eficaz baseada na informação mútua pontual (PMI), que permite a avaliação passo a passo dos caminhos de raciocínio e a expansão da árvore de busca via busca em feixe, sem a necessidade de simulações caras de antecipação, alcançando desempenhos superiores de raciocínio enquanto mantém a eficiência computacional. O framework é complementado por uma estratégia dinâmica de amostragem baseada em entropia, que aloca recursos computacionais de forma adaptativa para etapas de raciocínio incertas onde a exploração é mais benéfica. Para a previsão final, o MITS emprega um esquema de votação ponderada que combina pontuações PMI com consenso de previsão. Por meio de experimentos abrangentes em diversos benchmarks de raciocínio, o MITS supera consistentemente métodos de base, estabelecendo um framework eficiente e fundamentado para o raciocínio com LLMs.

English

Tree search has become as a representative framework for test-time reasoning with large language models (LLMs), exemplified by methods such as Tree-of-Thought and Monte Carlo Tree Search that explore multiple reasoning paths. However, it remains difficult to provide instant and reliable quantitative assessments of intermediate reasoning step quality, and extensive path exploration is computationally costly. To address this, we propose Mutual Information Tree Search (MITS), a novel framework that guides reasoning with information-theoretic principles. MITS introduces an effective scoring function based on pointwise mutual information (PMI), which enables step-wise evaluation of reasoning paths and search tree expansion via beam search without expensive look-ahead simulations, achieving superior reasoning performances while maintaining computational efficiency. The framework is complemented by an entropy-based dynamic sampling strategy that adaptively allocates computational resources to uncertain reasoning steps where exploration is most beneficial. For final prediction, MITS employs a weighted voting scheme that combines PMI scores with prediction consensus. Through comprehensive experiments on diverse reasoning benchmarks, MITS consistently surpasses baseline methods, establishing a principled and efficient framework for LLM reasoning.