φ-Декодирование: Адаптивная стратегия выборки с предвидением для сбалансированного исследования и использования на этапе вывода

φ-Decoding: Adaptive Foresight Sampling for Balanced Inference-Time Exploration and Exploitation

March 17, 2025

Авторы: Fangzhi Xu, Hang Yan, Chang Ma, Haiteng Zhao, Jun Liu, Qika Lin, Zhiyong Wu

cs.AI

Аннотация

Оптимизация во время вывода масштабирует вычисления для получения осознанных шагов рассуждения, обеспечивая эффективную производительность. В то время как предыдущие стратегии, основанные на поиске, решают проблему близорукости авторегрессивной генерации, обширное пространство поиска приводит к избыточному исследованию и недостаточному использованию. Для достижения эффективного баланса и получения оптимального шага мы формулируем стратегию декодирования как выборку с предвидением, используя смоделированные будущие шаги для получения глобально оптимальной оценки шага. На основе этого мы предлагаем новую стратегию декодирования, названную phi-Decoding. Для обеспечения точной и выразительной оценки ценности шага phi-Decoding аппроксимирует два распределения через предвидение и кластеризацию. Выборка из совместного распределения позволяет выбирать оптимальные шаги для использования. Для поддержки адаптивного распределения вычислений мы предлагаем стратегии обрезки по ширине и глубине, представляя легковесное решение для достижения эффективности вывода. Многочисленные эксперименты на семи бенчмарках показывают, что phi-Decoding превосходит сильные базовые подходы как по производительности, так и по эффективности. Дополнительный анализ демонстрирует его обобщаемость для различных языковых моделей и масштабируемость в широком диапазоне вычислительных ресурсов. Код будет опубликован на https://github.com/xufangzhi/phi-Decoding, а открытый пакет PyPI появится в ближайшее время.

English

Inference-time optimization scales computation to derive deliberate reasoning steps for effective performance. While previous search-based strategies address the short-sightedness of auto-regressive generation, the vast search space leads to excessive exploration and insufficient exploitation. To strike an efficient balance to derive the optimal step, we frame the decoding strategy as foresight sampling, leveraging simulated future steps to obtain globally optimal step estimation. Built on it, we propose a novel decoding strategy, named phi-Decoding. To provide a precise and expressive estimation of step value, phi-Decoding approximates two distributions via foresight and clustering. Sampling from the joint distribution, the optimal steps can be selected for exploitation. To support adaptive computation allocation, we propose in-width and in-depth pruning strategies, featuring a light-weight solution to achieve inference efficiency. Extensive experiments across seven benchmarks show phi-Decoding outperforms strong baselines in both performance and efficiency. Additional analysis demonstrates its generalization across various LLMs and scalability across a wide range of computing budgets. The code will be released at https://github.com/xufangzhi/phi-Decoding, and the open-source PyPI package is coming soon.