φ-Decodering: Adaptieve Vooruitziende Steekproefname voor Gebalanceerde Inferentie-Tijd Exploratie en Exploitatie

φ-Decoding: Adaptive Foresight Sampling for Balanced Inference-Time Exploration and Exploitation

March 17, 2025

Auteurs: Fangzhi Xu, Hang Yan, Chang Ma, Haiteng Zhao, Jun Liu, Qika Lin, Zhiyong Wu

cs.AI

Samenvatting

Inferentie-tijd optimalisatie schaalt de berekening om weloverwogen redeneerstappen af te leiden voor effectieve prestaties. Hoewel eerder op zoek gebaseerde strategieën de kortzichtigheid van auto-regressieve generatie aanpakken, leidt de enorme zoekruimte tot overmatige exploratie en onvoldoende exploitatie. Om een efficiënt evenwicht te vinden om de optimale stap af te leiden, formuleren we de decodeerstrategie als vooruitziende steekproefname, waarbij gesimuleerde toekomstige stappen worden benut om een globaal optimale stapschatting te verkrijgen. Hierop voortbouwend stellen we een nieuwe decodeerstrategie voor, genaamd phi-Decoding. Om een nauwkeurige en expressieve schatting van de stapwaarde te bieden, benadert phi-Decoding twee verdelingen via vooruitziendheid en clustering. Door steekproeven te nemen uit de gezamenlijke verdeling kunnen de optimale stappen worden geselecteerd voor exploitatie. Om adaptieve berekeningsallocatie te ondersteunen, stellen we in-breedte en in-diepte snoeistrategieën voor, met een lichtgewicht oplossing om inferentie-efficiëntie te bereiken. Uitgebreide experimenten over zeven benchmarks tonen aan dat phi-Decoding sterke basislijnen overtreft in zowel prestaties als efficiëntie. Aanvullende analyse toont de generalisatie over verschillende LLM's en schaalbaarheid over een breed scala aan rekenbudgetten. De code zal worden vrijgegeven op https://github.com/xufangzhi/phi-Decoding, en het open-source PyPI-pakket komt binnenkort beschikbaar.

English

Inference-time optimization scales computation to derive deliberate reasoning steps for effective performance. While previous search-based strategies address the short-sightedness of auto-regressive generation, the vast search space leads to excessive exploration and insufficient exploitation. To strike an efficient balance to derive the optimal step, we frame the decoding strategy as foresight sampling, leveraging simulated future steps to obtain globally optimal step estimation. Built on it, we propose a novel decoding strategy, named phi-Decoding. To provide a precise and expressive estimation of step value, phi-Decoding approximates two distributions via foresight and clustering. Sampling from the joint distribution, the optimal steps can be selected for exploitation. To support adaptive computation allocation, we propose in-width and in-depth pruning strategies, featuring a light-weight solution to achieve inference efficiency. Extensive experiments across seven benchmarks show phi-Decoding outperforms strong baselines in both performance and efficiency. Additional analysis demonstrates its generalization across various LLMs and scalability across a wide range of computing budgets. The code will be released at https://github.com/xufangzhi/phi-Decoding, and the open-source PyPI package is coming soon.