Prever Recompensas Juntamente com Tokens: Inserção de Parâmetros Não Disruptiva para Intervenção Eficiente na Inferência em Modelos de Linguagem Grandes

Predicting Rewards Alongside Tokens: Non-disruptive Parameter Insertion for Efficient Inference Intervention in Large Language Model

August 20, 2024

Autores: Chenhan Yuan, Fei Huang, Ru Peng, Keming Lu, Bowen Yu, Chang Zhou, Jingren Zhou

cs.AI

Resumo

Modelos de linguagem grandes (LLMs) baseados em Transformer apresentam limitações como a geração de respostas inseguras, raciocínio não confiável, entre outros. As abordagens de intervenção de inferência existentes tentam mitigar esses problemas ao ajustar modelos adicionais para produzir sinais de calibração (como recompensas) que orientam o processo de decodificação do LLM. No entanto, essa solução introduz uma sobrecarga substancial de tempo e espaço devido aos modelos separados necessários. Este trabalho propõe a Inserção Não Disruptiva de Parâmetros (Otter), inserindo parâmetros extras na arquitetura do transformer para prever sinais de calibração juntamente com a saída original do LLM. Otter oferece desempenho de ponta em várias tarefas exigentes, economizando até 86,5\% de espaço adicional e 98,5\% de tempo adicional. Além disso, Otter se integra perfeitamente com motores de inferência existentes, exigindo apenas uma alteração de uma linha de código, e a resposta do modelo original permanece acessível após a inserção dos parâmetros. Nosso código está publicamente disponível em https://github.com/chenhan97/Otter

English

Transformer-based large language models (LLMs) exhibit limitations such as generating unsafe responses, unreliable reasoning, etc. Existing inference intervention approaches attempt to mitigate these issues by finetuning additional models to produce calibration signals (such as rewards) that guide the LLM's decoding process. However, this solution introduces substantial time and space overhead due to the separate models required. This work proposes Non-disruptive parameters insertion (Otter), inserting extra parameters into the transformer architecture to predict calibration signals along with the original LLM output. Otter offers state-of-the-art performance on multiple demanding tasks while saving up to 86.5\% extra space and 98.5\% extra time. Furthermore, Otter seamlessly integrates with existing inference engines, requiring only a one-line code change, and the original model response remains accessible after the parameter insertion. Our code is publicly available at https://github.com/chenhan97/Otter