φ-Decodificación: Muestreo Adaptativo de Previsión para un Equilibrio entre Exploración y Explotación en el Momento de Inferencia

φ-Decoding: Adaptive Foresight Sampling for Balanced Inference-Time Exploration and Exploitation

March 17, 2025

Autores: Fangzhi Xu, Hang Yan, Chang Ma, Haiteng Zhao, Jun Liu, Qika Lin, Zhiyong Wu

cs.AI

Resumen

La optimización en tiempo de inferencia escala el cómputo para derivar pasos de razonamiento deliberado que permitan un rendimiento efectivo. Si bien las estrategias basadas en búsqueda anteriores abordan la miopía de la generación autoregresiva, el vasto espacio de búsqueda conduce a una exploración excesiva y una explotación insuficiente. Para lograr un equilibrio eficiente y derivar el paso óptimo, enmarcamos la estrategia de decodificación como muestreo con previsión, aprovechando pasos futuros simulados para obtener una estimación globalmente óptima del paso. Sobre esta base, proponemos una novedosa estrategia de decodificación, denominada phi-Decodificación. Para proporcionar una estimación precisa y expresiva del valor del paso, phi-Decodificación aproxima dos distribuciones mediante previsión y agrupamiento. Al muestrear la distribución conjunta, se pueden seleccionar los pasos óptimos para su explotación. Para apoyar la asignación adaptativa de cómputo, proponemos estrategias de poda en anchura y en profundidad, ofreciendo una solución ligera para lograr eficiencia en la inferencia. Experimentos extensos en siete benchmarks muestran que phi-Decodificación supera a las líneas base fuertes tanto en rendimiento como en eficiencia. Análisis adicionales demuestran su generalización en varios LLM y su escalabilidad en un amplio rango de presupuestos de cómputo. El código se publicará en https://github.com/xufangzhi/phi-Decoding, y el paquete de PyPI de código abierto estará disponible pronto.

English

Inference-time optimization scales computation to derive deliberate reasoning steps for effective performance. While previous search-based strategies address the short-sightedness of auto-regressive generation, the vast search space leads to excessive exploration and insufficient exploitation. To strike an efficient balance to derive the optimal step, we frame the decoding strategy as foresight sampling, leveraging simulated future steps to obtain globally optimal step estimation. Built on it, we propose a novel decoding strategy, named phi-Decoding. To provide a precise and expressive estimation of step value, phi-Decoding approximates two distributions via foresight and clustering. Sampling from the joint distribution, the optimal steps can be selected for exploitation. To support adaptive computation allocation, we propose in-width and in-depth pruning strategies, featuring a light-weight solution to achieve inference efficiency. Extensive experiments across seven benchmarks show phi-Decoding outperforms strong baselines in both performance and efficiency. Additional analysis demonstrates its generalization across various LLMs and scalability across a wide range of computing budgets. The code will be released at https://github.com/xufangzhi/phi-Decoding, and the open-source PyPI package is coming soon.