Vorhersage von Belohnungen neben Tokens: Nicht-störende Parameter-Einfügung für effiziente Eingriffe in die Inferenz in großen Sprachmodellen.

Predicting Rewards Alongside Tokens: Non-disruptive Parameter Insertion for Efficient Inference Intervention in Large Language Model

August 20, 2024

Autoren: Chenhan Yuan, Fei Huang, Ru Peng, Keming Lu, Bowen Yu, Chang Zhou, Jingren Zhou

cs.AI

Zusammenfassung

Transformer-basierte große Sprachmodelle (LLMs) zeigen Einschränkungen wie das Generieren unsicherer Antworten, unzuverlässiges Schlussfolgern usw. Bestehende Interventionsansätze für die Inferenz versuchen, diese Probleme zu mildern, indem sie zusätzliche Modelle zur Feinabstimmung verwenden, um Kalibrierungssignale (wie Belohnungen) zu erzeugen, die den Dekodierungsprozess des LLMs lenken. Diese Lösung führt jedoch aufgrund der erforderlichen separaten Modelle zu erheblichem Zeit- und Speicheroverhead. In dieser Arbeit wird die nicht störende Parameter-Einfügung (Otter) vorgeschlagen, bei der zusätzliche Parameter in die Transformer-Architektur eingefügt werden, um Kalibrierungssignale zusammen mit der ursprünglichen LLM-Ausgabe vorherzusagen. Otter bietet Spitzenleistung bei mehreren anspruchsvollen Aufgaben, während bis zu 86,5\% zusätzlicher Speicher und 98,5\% zusätzliche Zeit eingespart werden. Darüber hinaus integriert sich Otter nahtlos in bestehende Inferenz-Engines, erfordert nur eine Code-Änderung in einer Zeile und die ursprüngliche Modellantwort bleibt nach der Parameter-Einfügung zugänglich. Unser Code ist öffentlich unter https://github.com/chenhan97/Otter verfügbar.

English

Transformer-based large language models (LLMs) exhibit limitations such as generating unsafe responses, unreliable reasoning, etc. Existing inference intervention approaches attempt to mitigate these issues by finetuning additional models to produce calibration signals (such as rewards) that guide the LLM's decoding process. However, this solution introduces substantial time and space overhead due to the separate models required. This work proposes Non-disruptive parameters insertion (Otter), inserting extra parameters into the transformer architecture to predict calibration signals along with the original LLM output. Otter offers state-of-the-art performance on multiple demanding tasks while saving up to 86.5\% extra space and 98.5\% extra time. Furthermore, Otter seamlessly integrates with existing inference engines, requiring only a one-line code change, and the original model response remains accessible after the parameter insertion. Our code is publicly available at https://github.com/chenhan97/Otter