토큰과 함께 보상 예측: 대형 언어 모델에서 효율적 추론 개입을 위한 비방해적 매개 변수 삽입

초록

Transformer 기반 대형 언어 모델 (LLM)은 안전하지 않은 응답, 신뢰할 수 없는 추론 등의 제한이 나타납니다. 기존의 추론 개입 방법은 이러한 문제를 완화하기 위해 추가 모델을 세밀 조정하여 보정 신호(보상과 같은)를 생성하고 LLM의 디코딩 과정을 안내합니다. 그러나 이 솔루션은 필요한 별도 모델로 인해 상당한 시간과 공간 오버헤드를 도입합니다. 본 연구는 비방해적 매개변수 삽입 (Otter)을 제안합니다. Otter는 트랜스포머 구조에 추가 매개변수를 삽입하여 보정 신호를 예측하고 원래 LLM 출력과 함께 제공합니다. Otter는 다수의 요구되는 작업에서 최신 기술 성능을 제공하면서 추가 공간을 최대 86.5%, 추가 시간을 최대 98.5% 절약합니다. 더불어 Otter는 기존의 추론 엔진과 원활하게 통합되며, 한 줄의 코드 변경만 필요하며, 매개변수 삽입 후에도 원래 모델 응답에 접근할 수 있습니다. 저희 코드는 https://github.com/chenhan97/Otter 에서 공개되어 있습니다.

English

Transformer-based large language models (LLMs) exhibit limitations such as generating unsafe responses, unreliable reasoning, etc. Existing inference intervention approaches attempt to mitigate these issues by finetuning additional models to produce calibration signals (such as rewards) that guide the LLM's decoding process. However, this solution introduces substantial time and space overhead due to the separate models required. This work proposes Non-disruptive parameters insertion (Otter), inserting extra parameters into the transformer architecture to predict calibration signals along with the original LLM output. Otter offers state-of-the-art performance on multiple demanding tasks while saving up to 86.5\% extra space and 98.5\% extra time. Furthermore, Otter seamlessly integrates with existing inference engines, requiring only a one-line code change, and the original model response remains accessible after the parameter insertion. Our code is publicly available at https://github.com/chenhan97/Otter

토큰과 함께 보상 예측: 대형 언어 모델에서 효율적 추론 개입을 위한 비방해적 매개 변수 삽입

Predicting Rewards Alongside Tokens: Non-disruptive Parameter Insertion for Efficient Inference Intervention in Large Language Model

초록

Summary

Support

Support