Быстрое декодирование лучших N вариантов с помощью спекулятивного отклонения

Fast Best-of-N Decoding via Speculative Rejection

October 26, 2024

Авторы: Hanshi Sun, Momin Haider, Ruiqi Zhang, Huitao Yang, Jiahao Qiu, Ming Yin, Mengdi Wang, Peter Bartlett, Andrea Zanette

cs.AI

Аннотация

Безопасное и эффективное развертывание больших языковых моделей (LLM) включает критический этап, называемый выравниванием, который гарантирует, что ответы модели соответствуют человеческим предпочтениям. Распространенные методы выравнивания, такие как DPO, PPO и их варианты, выравнивают LLM, изменяя веса предварительно обученной модели во время этапа, называемого пост-тренировкой. Хотя эти методы пост-тренировки являются преобладающими, они добавляют значительную сложность перед тем, как LLM могут быть развернуты. Методы выравнивания во время вывода избегают сложного этапа пост-тренировки и вместо этого направляют генерацию к ответам, соответствующим человеческим предпочтениям. Самый известный метод выравнивания во время вывода, называемый Лучшее-из-N, так же эффективен, как передовые процедуры пост-тренировки. К сожалению, Лучшее-из-N требует значительно больше ресурсов во время вывода, чем стандартные стратегии декодирования, что делает его вычислительно невозможным. В данной работе мы представляем Спекулятивное Отклонение, вычислительно возможный алгоритм выравнивания во время вывода. Он генерирует ответы с высокими баллами в соответствии с заданной моделью вознаграждения, как это делает Лучшее-из-N, при этом являясь от 16 до 32 раз более вычислительно эффективным.

English

The safe and effective deployment of Large Language Models (LLMs) involves a critical step called alignment, which ensures that the model's responses are in accordance with human preferences. Prevalent alignment techniques, such as DPO, PPO and their variants, align LLMs by changing the pre-trained model weights during a phase called post-training. While predominant, these post-training methods add substantial complexity before LLMs can be deployed. Inference-time alignment methods avoid the complex post-training step and instead bias the generation towards responses that are aligned with human preferences. The best-known inference-time alignment method, called Best-of-N, is as effective as the state-of-the-art post-training procedures. Unfortunately, Best-of-N requires vastly more resources at inference time than standard decoding strategies, which makes it computationally not viable. In this work, we introduce Speculative Rejection, a computationally-viable inference-time alignment algorithm. It generates high-scoring responses according to a given reward model, like Best-of-N does, while being between 16 to 32 times more computationally efficient.