Feinabstimmung von Sprachmodellen durch Proxy

papers.abstract

Trotz der allgemeinen Fähigkeiten großer vortrainierter Sprachmodelle profitieren sie durchweg von weiterer Anpassung, um gewünschte Verhaltensweisen besser zu erreichen. Das Feinabstimmen dieser Modelle ist jedoch zunehmend ressourcenintensiv geworden oder unmöglich, wenn die Modellgewichte privat sind. Wir stellen Proxy-Tuning vor, einen leichtgewichtigen Dekodierungszeit-Algorithmus, der auf Black-Box-Sprachmodellen operiert, um das Ergebnis einer direkten Feinabstimmung des Modells zu erzielen, jedoch nur durch den Zugriff auf dessen Vorhersagen über das Ausgabevokabular. Unsere Methode stimmt stattdessen ein kleineres Sprachmodell fein und wendet dann die Differenz zwischen den Vorhersagen des feinabgestimmten und des nicht feinabgestimmten kleinen Modells an, um die ursprünglichen Vorhersagen des Basismodells in Richtung der Feinabstimmung zu verschieben, während die Vorteile des groß angelegten Vortrainings erhalten bleiben. In Experimenten, bei denen wir Proxy-Tuning auf Llama2-70B mit Proxies von nur 7B Größe anwenden, können wir 88 % der Lücke zwischen Llama2-70B und seiner tatsächlich feinabgestimmten Chat-Version schließen, wenn wir sie über Wissens-, Denk- und Sicherheitsbenchmarks bewerten. Interessanterweise sind Proxy-abgestimmte Modelle bei Tests auf TruthfulQA tatsächlich wahrheitsgetreuer als direkt feinabgestimmte Modelle, möglicherweise weil die Dekodierungszeit-Anleitung das faktische Wissen des Modells besser bewahrt. Wir demonstrieren dann die Allgemeingültigkeit von Proxy-Tuning, indem wir es für die Domänenanpassung auf Code und die aufgabenbezogene Feinabstimmung auf Frage-Antwort- und Matheprobleme anwenden. Unsere Arbeit zeigt das Potenzial auf, kleine feinabgestimmte Sprachmodelle zu verwenden, um große, möglicherweise proprietäre Sprachmodelle durch Dekodierungszeit-Anleitung effizient anzupassen.

English

Despite the general capabilities of large pretrained language models, they consistently benefit from further adaptation to better achieve desired behaviors. However, tuning these models has become increasingly resource-intensive, or impossible when model weights are private. We introduce proxy-tuning, a lightweight decoding-time algorithm that operates on top of black-box LMs to achieve the result of directly tuning the model, but by accessing only its prediction over the output vocabulary. Our method instead tunes a smaller LM, then applies the difference between the predictions of the small tuned and untuned LMs to shift the original predictions of the base model in the direction of tuning, while retaining the benefits of larger scale pretraining. In experiments, when we apply proxy-tuning to Llama2-70B using proxies of only 7B size, we can close 88% of the gap between Llama2-70B and its truly-tuned chat version, when evaluated across knowledge, reasoning, and safety benchmarks. Interestingly, when tested on TruthfulQA, proxy-tuned models are actually more truthful than directly tuned models, possibly because decoding-time guidance better retains the model's factual knowledge. We then demonstrate the generality of proxy-tuning by applying it for domain adaptation on code, and task-specific finetuning on question-answering and math problems. Our work demonstrates the promise of using small tuned LMs to efficiently customize large, potentially proprietary LMs through decoding-time guidance.

Feinabstimmung von Sprachmodellen durch Proxy

Tuning Language Models by Proxy

papers.abstract

Support