φ-Décodage : Échantillonnage prospectif adaptatif pour un équilibre entre exploration et exploitation lors de l'inférence

φ-Decoding: Adaptive Foresight Sampling for Balanced Inference-Time Exploration and Exploitation

March 17, 2025

Auteurs: Fangzhi Xu, Hang Yan, Chang Ma, Haiteng Zhao, Jun Liu, Qika Lin, Zhiyong Wu

cs.AI

Résumé

L'optimisation au moment de l'inférence ajuste le calcul pour dériver des étapes de raisonnement délibérées en vue d'une performance efficace. Bien que les stratégies précédentes basées sur la recherche abordent le manque de prévoyance de la génération auto-régressive, l'immense espace de recherche conduit à une exploration excessive et à une exploitation insuffisante. Pour trouver un équilibre efficace afin de dériver l'étape optimale, nous formulons la stratégie de décodage comme un échantillonnage prospectif, exploitant des étapes futures simulées pour obtenir une estimation globalement optimale de l'étape. Sur cette base, nous proposons une nouvelle stratégie de décodage, nommée phi-Decoding. Pour fournir une estimation précise et expressive de la valeur de l'étape, phi-Decoding approxime deux distributions via la prospective et le clustering. En échantillonnant à partir de la distribution conjointe, les étapes optimales peuvent être sélectionnées pour l'exploitation. Pour soutenir l'allocation adaptative du calcul, nous proposons des stratégies d'élagage en largeur et en profondeur, offrant une solution légère pour atteindre l'efficacité de l'inférence. Des expériences approfondies sur sept benchmarks montrent que phi-Decoding surpasse les bases de référence solides à la fois en performance et en efficacité. Une analyse supplémentaire démontre sa généralisation à travers divers LLM et son évolutivité sur une large gamme de budgets de calcul. Le code sera publié à l'adresse https://github.com/xufangzhi/phi-Decoding, et le package PyPI open-source sera bientôt disponible.

English

Inference-time optimization scales computation to derive deliberate reasoning steps for effective performance. While previous search-based strategies address the short-sightedness of auto-regressive generation, the vast search space leads to excessive exploration and insufficient exploitation. To strike an efficient balance to derive the optimal step, we frame the decoding strategy as foresight sampling, leveraging simulated future steps to obtain globally optimal step estimation. Built on it, we propose a novel decoding strategy, named phi-Decoding. To provide a precise and expressive estimation of step value, phi-Decoding approximates two distributions via foresight and clustering. Sampling from the joint distribution, the optimal steps can be selected for exploitation. To support adaptive computation allocation, we propose in-width and in-depth pruning strategies, featuring a light-weight solution to achieve inference efficiency. Extensive experiments across seven benchmarks show phi-Decoding outperforms strong baselines in both performance and efficiency. Additional analysis demonstrates its generalization across various LLMs and scalability across a wide range of computing budgets. The code will be released at https://github.com/xufangzhi/phi-Decoding, and the open-source PyPI package is coming soon.