φ-Decoding: Campionamento Foresight Adattivo per un Bilanciamento tra Esplorazione e Sfruttamento durante l'Inferenza

φ-Decoding: Adaptive Foresight Sampling for Balanced Inference-Time Exploration and Exploitation

March 17, 2025

Autori: Fangzhi Xu, Hang Yan, Chang Ma, Haiteng Zhao, Jun Liu, Qika Lin, Zhiyong Wu

cs.AI

Abstract

L'ottimizzazione al momento dell'inferenza scala il calcolo per derivare passaggi di ragionamento deliberati per una performance efficace. Mentre le precedenti strategie basate sulla ricerca affrontano la miopia della generazione auto-regressiva, il vasto spazio di ricerca porta a un'eccessiva esplorazione e a un'insufficiente sfruttamento. Per raggiungere un equilibrio efficiente e derivare il passaggio ottimale, inquadriamo la strategia di decodifica come campionamento previsionale, sfruttando passaggi futuri simulati per ottenere una stima globalmente ottimale del passaggio. Basandoci su questo, proponiamo una nuova strategia di decodifica, denominata phi-Decoding. Per fornire una stima precisa ed espressiva del valore del passaggio, phi-Decoding approssima due distribuzioni attraverso previsione e clustering. Campionando dalla distribuzione congiunta, i passaggi ottimali possono essere selezionati per lo sfruttamento. Per supportare l'allocazione adattiva del calcolo, proponiamo strategie di potatura in larghezza e in profondità, offrendo una soluzione leggera per raggiungere l'efficienza nell'inferenza. Esperimenti estesi su sette benchmark mostrano che phi-Decoding supera i forti baseline sia in termini di performance che di efficienza. Un'analisi aggiuntiva dimostra la sua generalizzazione su vari LLM e la scalabilità su un'ampia gamma di budget computazionali. Il codice sarà rilasciato su https://github.com/xufangzhi/phi-Decoding, e il pacchetto open-source PyPI sarà disponibile a breve.

English

Inference-time optimization scales computation to derive deliberate reasoning steps for effective performance. While previous search-based strategies address the short-sightedness of auto-regressive generation, the vast search space leads to excessive exploration and insufficient exploitation. To strike an efficient balance to derive the optimal step, we frame the decoding strategy as foresight sampling, leveraging simulated future steps to obtain globally optimal step estimation. Built on it, we propose a novel decoding strategy, named phi-Decoding. To provide a precise and expressive estimation of step value, phi-Decoding approximates two distributions via foresight and clustering. Sampling from the joint distribution, the optimal steps can be selected for exploitation. To support adaptive computation allocation, we propose in-width and in-depth pruning strategies, featuring a light-weight solution to achieve inference efficiency. Extensive experiments across seven benchmarks show phi-Decoding outperforms strong baselines in both performance and efficiency. Additional analysis demonstrates its generalization across various LLMs and scalability across a wide range of computing budgets. The code will be released at https://github.com/xufangzhi/phi-Decoding, and the open-source PyPI package is coming soon.