Previsione delle Ricompense Accanto ai Token: Inserimento Parametrico Non Disruptivo per un'Efficiente Intervento nell'Inferenza nei Modelli Linguistici di Grandi Dimensioni

Predicting Rewards Alongside Tokens: Non-disruptive Parameter Insertion for Efficient Inference Intervention in Large Language Model

August 20, 2024

Autori: Chenhan Yuan, Fei Huang, Ru Peng, Keming Lu, Bowen Yu, Chang Zhou, Jingren Zhou

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) basati su Transformer presentano limitazioni come la generazione di risposte non sicure, ragionamenti inaffidabili, ecc. Gli approcci esistenti di intervento durante l'inferenza cercano di mitigare questi problemi affinando modelli aggiuntivi per produrre segnali di calibrazione (come ricompense) che guidino il processo di decodifica dell'LLM. Tuttavia, questa soluzione introduce un notevole sovraccarico in termini di tempo e spazio a causa dei modelli separati richiesti. Questo lavoro propone l'inserimento non invasivo di parametri (Otter), che consiste nell'inserire parametri aggiuntivi nell'architettura Transformer per prevedere segnali di calibrazione insieme all'output originale dell'LLM. Otter offre prestazioni all'avanguardia su molteplici task impegnativi, risparmiando fino all'86,5% di spazio aggiuntivo e al 98,5% di tempo aggiuntivo. Inoltre, Otter si integra perfettamente con i motori di inferenza esistenti, richiedendo solo una modifica di una riga di codice, e la risposta originale del modello rimane accessibile dopo l'inserimento dei parametri. Il nostro codice è disponibile pubblicamente all'indirizzo https://github.com/chenhan97/Otter.

English

Transformer-based large language models (LLMs) exhibit limitations such as generating unsafe responses, unreliable reasoning, etc. Existing inference intervention approaches attempt to mitigate these issues by finetuning additional models to produce calibration signals (such as rewards) that guide the LLM's decoding process. However, this solution introduces substantial time and space overhead due to the separate models required. This work proposes Non-disruptive parameters insertion (Otter), inserting extra parameters into the transformer architecture to predict calibration signals along with the original LLM output. Otter offers state-of-the-art performance on multiple demanding tasks while saving up to 86.5\% extra space and 98.5\% extra time. Furthermore, Otter seamlessly integrates with existing inference engines, requiring only a one-line code change, and the original model response remains accessible after the parameter insertion. Our code is publicly available at https://github.com/chenhan97/Otter