Taalmodellen afstemmen via proxy

Tuning Language Models by Proxy

January 16, 2024

Auteurs: Alisa Liu, Xiaochuang Han, Yizhong Wang, Yulia Tsvetkov, Yejin Choi, Noah A. Smith

cs.AI

Samenvatting

Ondanks de algemene capaciteiten van grote vooraf getrainde taalmodelen, profiteren ze consistent van verdere aanpassing om gewenste gedragingen beter te bereiken. Het afstemmen van deze modellen is echter steeds meer bronnenintensief geworden, of zelfs onmogelijk wanneer de modelgewichten privé zijn. Wij introduceren proxy-tuning, een lichtgewicht decodeeralgoritme dat bovenop black-box taalmodelen opereert om het resultaat te bereiken van het direct afstemmen van het model, maar door alleen toegang te hebben tot de voorspellingen over het uitvoervocabulaire. Onze methode stemt in plaats daarvan een kleiner taalmodel af en past vervolgens het verschil tussen de voorspellingen van het afgestemde en niet-afgestemde kleine taalmodel toe om de oorspronkelijke voorspellingen van het basismodel in de richting van afstemming te verschuiven, terwijl de voordelen van grootschalige voorafgaande training behouden blijven. In experimenten, wanneer we proxy-tuning toepassen op Llama2-70B met proxies van slechts 7B grootte, kunnen we 88% van het gat tussen Llama2-70B en de echt afgestemde chatversie dichten, wanneer geëvalueerd over kennis-, redeneer- en veiligheidsbenchmarks. Interessant genoeg zijn proxy-afgestemde modellen bij testen op TruthfulQA zelfs waarheidsgetrouwer dan direct afgestemde modellen, mogelijk omdat decodeertijdbegeleiding de feitelijke kennis van het model beter behoudt. Vervolgens demonstreren we de algemeenheid van proxy-tuning door het toe te passen voor domeinaanpassing op code, en taakspecifieke finetuning op vraag-antwoord- en wiskundeproblemen. Ons werk toont de belofte aan van het gebruik van kleine afgestemde taalmodelen om grote, mogelijk propriëtaire taalmodelen efficiënt aan te passen via decodeertijdbegeleiding.

English

Despite the general capabilities of large pretrained language models, they consistently benefit from further adaptation to better achieve desired behaviors. However, tuning these models has become increasingly resource-intensive, or impossible when model weights are private. We introduce proxy-tuning, a lightweight decoding-time algorithm that operates on top of black-box LMs to achieve the result of directly tuning the model, but by accessing only its prediction over the output vocabulary. Our method instead tunes a smaller LM, then applies the difference between the predictions of the small tuned and untuned LMs to shift the original predictions of the base model in the direction of tuning, while retaining the benefits of larger scale pretraining. In experiments, when we apply proxy-tuning to Llama2-70B using proxies of only 7B size, we can close 88% of the gap between Llama2-70B and its truly-tuned chat version, when evaluated across knowledge, reasoning, and safety benchmarks. Interestingly, when tested on TruthfulQA, proxy-tuned models are actually more truthful than directly tuned models, possibly because decoding-time guidance better retains the model's factual knowledge. We then demonstrate the generality of proxy-tuning by applying it for domain adaptation on code, and task-specific finetuning on question-answering and math problems. Our work demonstrates the promise of using small tuned LMs to efficiently customize large, potentially proprietary LMs through decoding-time guidance.