DeAL: Alinhamento no Tempo de Decodificação para Modelos de Linguagem de Grande Escala

Resumo

Grandes Modelos de Linguagem (LLMs) são atualmente esperados para gerar conteúdo alinhado com as preferências humanas. O trabalho atual foca no alinhamento durante o treinamento do modelo, através de técnicas como Aprendizado por Reforço com Feedback Humano (RLHF). No entanto, não está claro se tais métodos são uma escolha eficaz para ensinar objetivos de alinhamento ao modelo. Primeiro, a incapacidade de incorporar múltiplas recompensas personalizadas e a dependência da visão do desenvolvedor do modelo sobre princípios universais e estáticos são limitações-chave. Segundo, as lacunas residuais no treinamento do modelo e a confiabilidade de tais abordagens também são questionáveis (por exemplo, suscetibilidade a jail-breaking mesmo após o treinamento de segurança). Para abordar esses problemas, propomos o DeAL, um framework que permite ao usuário personalizar funções de recompensa e possibilita o Alinhamento no Tempo de Decodificação de LLMs (DeAL). Em sua essência, vemos a decodificação como um processo de busca guiada por heurísticas e facilitamos o uso de uma ampla variedade de objetivos de alinhamento. Nossos experimentos com restrições programáticas, como restrições de palavras-chave e de comprimento (amplamente estudadas na era pré-LLM), e objetivos abstratos, como inofensividade e utilidade (propostos na era pós-LLM), mostram que podemos lidar com trade-offs refinados, melhorar a adesão aos objetivos de alinhamento e abordar lacunas residuais em LLMs. Por fim, embora o DeAL possa ser efetivamente combinado com técnicas de RLHF e prompting, sua generalidade torna a decodificação mais lenta, uma otimização que deixamos para trabalhos futuros.

English

Large Language Models (LLMs) are nowadays expected to generate content aligned with human preferences. Current work focuses on alignment at model training time, through techniques such as Reinforcement Learning with Human Feedback (RLHF). However, it is unclear if such methods are an effective choice to teach alignment objectives to the model. First, the inability to incorporate multiple, custom rewards and reliance on a model developer's view of universal and static principles are key limitations. Second, the residual gaps in model training and the reliability of such approaches are also questionable (e.g. susceptibility to jail-breaking even after safety training). To address these, we propose DeAL, a framework that allows the user to customize reward functions and enables Decoding-time Alignment of LLMs (DeAL). At its core, we view decoding as a heuristic-guided search process and facilitate the use of a wide variety of alignment objectives. Our experiments with programmatic constraints such as keyword and length constraints (studied widely in the pre-LLM era) and abstract objectives such as harmlessness and helpfulness (proposed in the post-LLM era) show that we can DeAL with fine-grained trade-offs, improve adherence to alignment objectives, and address residual gaps in LLMs. Lastly, while DeAL can be effectively paired with RLHF and prompting techniques, its generality makes decoding slower, an optimization we leave for future work.

DeAL: Alinhamento no Tempo de Decodificação para Modelos de Linguagem de Grande Escala

DeAL: Decoding-time Alignment for Large Language Models

Resumo

Support