Predicción de Recompensas Junto con Tokens: Inserción de Parámetros No Disruptiva para Intervención Eficiente en la Inferencia en Modelos de Lenguaje Grandes

Predicting Rewards Alongside Tokens: Non-disruptive Parameter Insertion for Efficient Inference Intervention in Large Language Model

August 20, 2024

Autores: Chenhan Yuan, Fei Huang, Ru Peng, Keming Lu, Bowen Yu, Chang Zhou, Jingren Zhou

cs.AI

Resumen

Los modelos de lenguaje grandes (LLMs) basados en transformers presentan limitaciones como la generación de respuestas inseguras, razonamientos poco confiables, etc. Los enfoques de intervención en la inferencia existentes intentan mitigar estos problemas mediante el ajuste fino de modelos adicionales para producir señales de calibración (como recompensas) que guíen el proceso de decodificación del LLM. Sin embargo, esta solución introduce una sobrecarga sustancial de tiempo y espacio debido a los modelos separados requeridos. Este trabajo propone la inserción de parámetros no disruptiva (Otter), que consiste en insertar parámetros adicionales en la arquitectura del transformer para predecir señales de calibración junto con la salida original del LLM. Otter ofrece un rendimiento de vanguardia en múltiples tareas exigentes mientras ahorra hasta un 86.5\% de espacio adicional y un 98.5\% de tiempo adicional. Además, Otter se integra perfectamente con los motores de inferencia existentes, requiriendo solo un cambio de código de una línea, y la respuesta del modelo original sigue siendo accesible después de la inserción de parámetros. Nuestro código está disponible públicamente en https://github.com/chenhan97/Otter

English

Transformer-based large language models (LLMs) exhibit limitations such as generating unsafe responses, unreliable reasoning, etc. Existing inference intervention approaches attempt to mitigate these issues by finetuning additional models to produce calibration signals (such as rewards) that guide the LLM's decoding process. However, this solution introduces substantial time and space overhead due to the separate models required. This work proposes Non-disruptive parameters insertion (Otter), inserting extra parameters into the transformer architecture to predict calibration signals along with the original LLM output. Otter offers state-of-the-art performance on multiple demanding tasks while saving up to 86.5\% extra space and 98.5\% extra time. Furthermore, Otter seamlessly integrates with existing inference engines, requiring only a one-line code change, and the original model response remains accessible after the parameter insertion. Our code is publicly available at https://github.com/chenhan97/Otter