Decodificação Rápida de Melhor-de-N via Rejeição Especulativa

Fast Best-of-N Decoding via Speculative Rejection

October 26, 2024

Autores: Hanshi Sun, Momin Haider, Ruiqi Zhang, Huitao Yang, Jiahao Qiu, Ming Yin, Mengdi Wang, Peter Bartlett, Andrea Zanette

cs.AI

Resumo

A implantação segura e eficaz de Modelos de Linguagem Grandes (LLMs) envolve uma etapa crítica chamada alinhamento, que garante que as respostas do modelo estejam de acordo com as preferências humanas. Técnicas de alinhamento prevalentes, como DPO, PPO e suas variantes, alinham LLMs alterando os pesos do modelo pré-treinado durante uma fase chamada pós-treinamento. Embora predominantes, esses métodos de pós-treinamento adicionam complexidade substancial antes que os LLMs possam ser implantados. Métodos de alinhamento no momento da inferência evitam a etapa complexa de pós-treinamento e, em vez disso, direcionam a geração para respostas alinhadas com as preferências humanas. O método de alinhamento no momento da inferência mais conhecido, chamado Melhor-de-N, é tão eficaz quanto os procedimentos de pós-treinamento de ponta. Infelizmente, o Melhor-de-N requer recursos muito maiores no momento da inferência do que as estratégias de decodificação padrão, o que o torna computacionalmente inviável. Neste trabalho, apresentamos o Rejeição Especulativa, um algoritmo de alinhamento no momento da inferência viável computacionalmente. Ele gera respostas de alta pontuação de acordo com um modelo de recompensa dado, como o Melhor-de-N faz, enquanto sendo entre 16 a 32 vezes mais eficiente computacionalmente.

English

The safe and effective deployment of Large Language Models (LLMs) involves a critical step called alignment, which ensures that the model's responses are in accordance with human preferences. Prevalent alignment techniques, such as DPO, PPO and their variants, align LLMs by changing the pre-trained model weights during a phase called post-training. While predominant, these post-training methods add substantial complexity before LLMs can be deployed. Inference-time alignment methods avoid the complex post-training step and instead bias the generation towards responses that are aligned with human preferences. The best-known inference-time alignment method, called Best-of-N, is as effective as the state-of-the-art post-training procedures. Unfortunately, Best-of-N requires vastly more resources at inference time than standard decoding strategies, which makes it computationally not viable. In this work, we introduce Speculative Rejection, a computationally-viable inference-time alignment algorithm. It generates high-scoring responses according to a given reward model, like Best-of-N does, while being between 16 to 32 times more computationally efficient.