Prédire les Récompenses aux Côtés des Jetons : Insertion de Paramètres Non Perturbatrice pour une Intervention d'Inférence Efficace dans les Grands Modèles de Langue

Predicting Rewards Alongside Tokens: Non-disruptive Parameter Insertion for Efficient Inference Intervention in Large Language Model

August 20, 2024

Auteurs: Chenhan Yuan, Fei Huang, Ru Peng, Keming Lu, Bowen Yu, Chang Zhou, Jingren Zhou

cs.AI

Résumé

Les grands modèles de langage basés sur les transformers (LLM) présentent des limitations telles que la génération de réponses non sécurisées, un raisonnement peu fiable, etc. Les approches d'intervention en inférence existantes tentent de pallier ces problèmes en affinant des modèles supplémentaires pour produire des signaux de calibration (tels que des récompenses) qui guident le processus de décodage du LLM. Cependant, cette solution introduit des surcharges substantielles en termes de temps et d'espace en raison des modèles séparés requis. Ce travail propose l'insertion de paramètres non perturbatrice (Otter), qui consiste à insérer des paramètres supplémentaires dans l'architecture du transformer pour prédire des signaux de calibration en plus de la sortie originale du LLM. Otter offre des performances de pointe sur plusieurs tâches exigeantes tout en économisant jusqu'à 86,5\% d'espace supplémentaire et 98,5\% de temps supplémentaire. De plus, Otter s'intègre de manière transparente avec les moteurs d'inférence existants, ne nécessitant qu'un changement de code d'une seule ligne, et la réponse du modèle original reste accessible après l'insertion des paramètres. Notre code est publiquement disponible sur https://github.com/chenhan97/Otter

English

Transformer-based large language models (LLMs) exhibit limitations such as generating unsafe responses, unreliable reasoning, etc. Existing inference intervention approaches attempt to mitigate these issues by finetuning additional models to produce calibration signals (such as rewards) that guide the LLM's decoding process. However, this solution introduces substantial time and space overhead due to the separate models required. This work proposes Non-disruptive parameters insertion (Otter), inserting extra parameters into the transformer architecture to predict calibration signals along with the original LLM output. Otter offers state-of-the-art performance on multiple demanding tasks while saving up to 86.5\% extra space and 98.5\% extra time. Furthermore, Otter seamlessly integrates with existing inference engines, requiring only a one-line code change, and the original model response remains accessible after the parameter insertion. Our code is publicly available at https://github.com/chenhan97/Otter