Voorspellen van Beloningen naast Tokens: Niet-verstorende Parameterinvoeging voor Efficiënte Interventie bij Inferentie in Grote Taalmodellen
Predicting Rewards Alongside Tokens: Non-disruptive Parameter Insertion for Efficient Inference Intervention in Large Language Model
August 20, 2024
Auteurs: Chenhan Yuan, Fei Huang, Ru Peng, Keming Lu, Bowen Yu, Chang Zhou, Jingren Zhou
cs.AI
Samenvatting
Transformer-gebaseerde grote taalmodellen (LLMs) vertonen beperkingen, zoals het genereren van onveilige reacties, onbetrouwbare redeneringen, enz. Bestaande interventiebenaderingen tijdens inferentie proberen deze problemen te verminderen door aanvullende modellen te finetunen om kalibratiesignalen (zoals beloningen) te produceren die het decodeerproces van het LLM begeleiden. Deze oplossing introduceert echter aanzienlijke tijd- en ruimteoverhead vanwege de vereiste aparte modellen. Dit werk stelt Non-disruptive parameters insertion (Otter) voor, waarbij extra parameters in de transformer-architectuur worden ingevoegd om kalibratiesignalen te voorspellen naast de oorspronkelijke LLM-uitvoer. Otter biedt state-of-the-art prestaties op meerdere veeleisende taken, terwijl het tot 86,5% extra ruimte en 98,5% extra tijd bespaart. Bovendien integreert Otter naadloos met bestaande inferentie-engines, vereist slechts een éénregelige codewijziging, en blijft de oorspronkelijke modelrespons toegankelijk na de parameterinvoeging. Onze code is publiekelijk beschikbaar op https://github.com/chenhan97/Otter.
English
Transformer-based large language models (LLMs) exhibit limitations such as
generating unsafe responses, unreliable reasoning, etc. Existing inference
intervention approaches attempt to mitigate these issues by finetuning
additional models to produce calibration signals (such as rewards) that guide
the LLM's decoding process. However, this solution introduces substantial time
and space overhead due to the separate models required. This work proposes
Non-disruptive parameters insertion (Otter), inserting extra parameters into
the transformer architecture to predict calibration signals along with the
original LLM output. Otter offers state-of-the-art performance on multiple
demanding tasks while saving up to 86.5\% extra space and 98.5\% extra time.
Furthermore, Otter seamlessly integrates with existing inference engines,
requiring only a one-line code change, and the original model response remains
accessible after the parameter insertion. Our code is publicly available at
https://github.com/chenhan97/Otter