DeAL : Alignement au moment du décodage pour les grands modèles de langage

Résumé

Les grands modèles de langage (LLM) sont aujourd'hui censés générer du contenu aligné sur les préférences humaines. Les travaux actuels se concentrent sur l'alignement lors de l'entraînement du modèle, à travers des techniques telles que l'apprentissage par renforcement avec retour humain (RLHF). Cependant, il n'est pas clair si ces méthodes constituent un choix efficace pour enseigner les objectifs d'alignement au modèle. Premièrement, l'incapacité à incorporer des récompenses multiples et personnalisées, ainsi que la dépendance à une vision universelle et statique des principes par le développeur du modèle, sont des limitations majeures. Deuxièmement, les lacunes résiduelles dans l'entraînement du modèle et la fiabilité de ces approches sont également discutables (par exemple, la vulnérabilité au jail-breaking même après un entraînement de sécurité). Pour y remédier, nous proposons DeAL, un cadre qui permet à l'utilisateur de personnaliser les fonctions de récompense et permet l'Alignement au moment du décodage des LLM (DeAL). Au cœur de notre approche, nous considérons le décodage comme un processus de recherche guidé par des heuristiques et facilitons l'utilisation d'une grande variété d'objectifs d'alignement. Nos expériences avec des contraintes programmatiques telles que les contraintes de mots-clés et de longueur (largement étudiées à l'ère pré-LLM) et des objectifs abstraits tels que l'innocuité et l'utilité (proposés à l'ère post-LLM) montrent que nous pouvons gérer des compromis fins, améliorer l'adhésion aux objectifs d'alignement et combler les lacunes résiduelles des LLM. Enfin, bien que DeAL puisse être efficacement combiné avec RLHF et des techniques d'invite, sa généralité rend le décodage plus lent, une optimisation que nous laissons pour de futurs travaux.

English

Large Language Models (LLMs) are nowadays expected to generate content aligned with human preferences. Current work focuses on alignment at model training time, through techniques such as Reinforcement Learning with Human Feedback (RLHF). However, it is unclear if such methods are an effective choice to teach alignment objectives to the model. First, the inability to incorporate multiple, custom rewards and reliance on a model developer's view of universal and static principles are key limitations. Second, the residual gaps in model training and the reliability of such approaches are also questionable (e.g. susceptibility to jail-breaking even after safety training). To address these, we propose DeAL, a framework that allows the user to customize reward functions and enables Decoding-time Alignment of LLMs (DeAL). At its core, we view decoding as a heuristic-guided search process and facilitate the use of a wide variety of alignment objectives. Our experiments with programmatic constraints such as keyword and length constraints (studied widely in the pre-LLM era) and abstract objectives such as harmlessness and helpfulness (proposed in the post-LLM era) show that we can DeAL with fine-grained trade-offs, improve adherence to alignment objectives, and address residual gaps in LLMs. Lastly, while DeAL can be effectively paired with RLHF and prompting techniques, its generality makes decoding slower, an optimization we leave for future work.

DeAL : Alignement au moment du décodage pour les grands modèles de langage

DeAL: Decoding-time Alignment for Large Language Models

Résumé

Support