MITS: Razonamiento de Búsqueda en Árbol Mejorado para Modelos de Lenguaje de Gran Escala mediante Información Mutua Puntual
MITS: Enhanced Tree Search Reasoning for LLMs via Pointwise Mutual Information
October 4, 2025
Autores: Jiaxi Li, Yucheng Shi, Jin Lu, Ninghao Liu
cs.AI
Resumen
La búsqueda en árbol se ha consolidado como un marco representativo para el razonamiento en tiempo de prueba con modelos de lenguaje de gran escala (LLMs), ejemplificado por métodos como Árbol de Pensamientos y Búsqueda en Árbol de Monte Carlo, que exploran múltiples rutas de razonamiento. Sin embargo, sigue siendo difícil proporcionar evaluaciones cuantitativas instantáneas y confiables de la calidad de los pasos intermedios de razonamiento, y la exploración extensiva de rutas es computacionalmente costosa. Para abordar esto, proponemos la Búsqueda en Árbol de Información Mutua (MITS, por sus siglas en inglés), un marco novedoso que guía el razonamiento con principios de teoría de la información. MITS introduce una función de puntuación efectiva basada en la información mutua puntual (PMI, por sus siglas en inglés), que permite la evaluación paso a paso de las rutas de razonamiento y la expansión del árbol de búsqueda mediante búsqueda por haz, sin simulaciones costosas de anticipación, logrando un rendimiento superior en el razonamiento mientras mantiene la eficiencia computacional. El marco se complementa con una estrategia de muestreo dinámico basada en entropía que asigna adaptativamente recursos computacionales a los pasos de razonamiento inciertos donde la exploración es más beneficiosa. Para la predicción final, MITS emplea un esquema de votación ponderada que combina las puntuaciones PMI con el consenso de predicción. A través de experimentos exhaustivos en diversos puntos de referencia de razonamiento, MITS supera consistentemente los métodos de referencia, estableciendo un marco eficiente y basado en principios para el razonamiento con LLMs.
English
Tree search has become as a representative framework for test-time reasoning
with large language models (LLMs), exemplified by methods such as
Tree-of-Thought and Monte Carlo Tree Search that explore multiple reasoning
paths. However, it remains difficult to provide instant and reliable
quantitative assessments of intermediate reasoning step quality, and extensive
path exploration is computationally costly. To address this, we propose Mutual
Information Tree Search (MITS), a novel framework that guides reasoning with
information-theoretic principles. MITS introduces an effective scoring function
based on pointwise mutual information (PMI), which enables step-wise evaluation
of reasoning paths and search tree expansion via beam search without expensive
look-ahead simulations, achieving superior reasoning performances while
maintaining computational efficiency. The framework is complemented by an
entropy-based dynamic sampling strategy that adaptively allocates computational
resources to uncertain reasoning steps where exploration is most beneficial.
For final prediction, MITS employs a weighted voting scheme that combines PMI
scores with prediction consensus. Through comprehensive experiments on diverse
reasoning benchmarks, MITS consistently surpasses baseline methods,
establishing a principled and efficient framework for LLM reasoning.