φ-Decoding: Amostragem de Previsão Adaptativa para Equilíbrio entre Exploração e Exploração no Tempo de Inferência

φ-Decoding: Adaptive Foresight Sampling for Balanced Inference-Time Exploration and Exploitation

March 17, 2025

Autores: Fangzhi Xu, Hang Yan, Chang Ma, Haiteng Zhao, Jun Liu, Qika Lin, Zhiyong Wu

cs.AI

Resumo

A otimização durante a inferência dimensiona a computação para derivar etapas de raciocínio deliberadas visando um desempenho eficaz. Embora estratégias anteriores baseadas em busca abordem a miopia da geração autorregressiva, o vasto espaço de busca resulta em exploração excessiva e exploração insuficiente. Para alcançar um equilíbrio eficiente e derivar a etapa ótima, estruturamos a estratégia de decodificação como amostragem com previsão, aproveitando etapas futuras simuladas para obter uma estimativa globalmente ótima da etapa. Com base nisso, propomos uma nova estratégia de decodificação, denominada phi-Decoding. Para fornecer uma estimativa precisa e expressiva do valor da etapa, o phi-Decoding aproxima duas distribuições por meio de previsão e agrupamento. Ao amostrar a partir da distribuição conjunta, as etapas ótimas podem ser selecionadas para exploração. Para suportar a alocação adaptativa de computação, propomos estratégias de poda em largura e em profundidade, oferecendo uma solução leve para alcançar eficiência na inferência. Experimentos extensivos em sete benchmarks mostram que o phi-Decoding supera as linhas de base fortes tanto em desempenho quanto em eficiência. Análises adicionais demonstram sua generalização em vários LLMs e escalabilidade em uma ampla gama de orçamentos computacionais. O código será liberado em https://github.com/xufangzhi/phi-Decoding, e o pacote PyPI de código aberto estará disponível em breve.

English

Inference-time optimization scales computation to derive deliberate reasoning steps for effective performance. While previous search-based strategies address the short-sightedness of auto-regressive generation, the vast search space leads to excessive exploration and insufficient exploitation. To strike an efficient balance to derive the optimal step, we frame the decoding strategy as foresight sampling, leveraging simulated future steps to obtain globally optimal step estimation. Built on it, we propose a novel decoding strategy, named phi-Decoding. To provide a precise and expressive estimation of step value, phi-Decoding approximates two distributions via foresight and clustering. Sampling from the joint distribution, the optimal steps can be selected for exploitation. To support adaptive computation allocation, we propose in-width and in-depth pruning strategies, featuring a light-weight solution to achieve inference efficiency. Extensive experiments across seven benchmarks show phi-Decoding outperforms strong baselines in both performance and efficiency. Additional analysis demonstrates its generalization across various LLMs and scalability across a wide range of computing budgets. The code will be released at https://github.com/xufangzhi/phi-Decoding, and the open-source PyPI package is coming soon.