프록시를 통한 언어 모델 튜닝

Tuning Language Models by Proxy

January 16, 2024

저자: Alisa Liu, Xiaochuang Han, Yizhong Wang, Yulia Tsvetkov, Yejin Choi, Noah A. Smith

cs.AI

초록

대규모 사전 학습된 언어 모델의 일반적인 능력에도 불구하고, 이러한 모델들은 원하는 행동을 더 잘 달성하기 위해 추가적인 적응을 통해 꾸준히 이점을 얻습니다. 그러나 이러한 모델을 튜닝하는 것은 점점 더 많은 자원을 필요로 하거나, 모델 가중치가 비공개인 경우 불가능해지고 있습니다. 우리는 프록시 튜닝(proxy-tuning)을 소개합니다. 이는 블랙박스 언어 모델 위에서 작동하는 경량의 디코딩 시점 알고리즘으로, 모델을 직접 튜닝한 결과를 달성하지만 출력 어휘에 대한 모델의 예측만 접근합니다. 우리의 방법은 더 작은 언어 모델을 튜닝한 다음, 튜닝된 작은 모델과 튜닝되지 않은 모델의 예측 차이를 이용해 기본 모델의 원래 예측을 튜닝 방향으로 이동시키며, 대규모 사전 학습의 이점을 유지합니다. 실험에서 Llama2-70B에 7B 크기의 프록시를 사용해 프록시 튜닝을 적용했을 때, 지식, 추론, 안전성 벤치마크에서 평가된 Llama2-70B와 실제로 튜닝된 채팅 버전 간의 격차를 88% 줄일 수 있었습니다. 흥미롭게도, TruthfulQA에서 테스트했을 때 프록시 튜닝된 모델은 직접 튜닝된 모델보다 실제로 더 진실된 결과를 보였는데, 이는 디코딩 시점 가이드가 모델의 사실적 지식을 더 잘 보존하기 때문일 수 있습니다. 그런 다음 우리는 프록시 튜닝의 일반성을 코드 도메인 적응과 질문-응답 및 수학 문제에 대한 작업별 미세 조정에 적용하여 입증합니다. 우리의 연구는 작은 튜닝된 언어 모델을 사용해 잠재적으로 독점적인 대규모 언어 모델을 디코딩 시점 가이드를 통해 효율적으로 맞춤화할 수 있는 가능성을 보여줍니다.

English

Despite the general capabilities of large pretrained language models, they consistently benefit from further adaptation to better achieve desired behaviors. However, tuning these models has become increasingly resource-intensive, or impossible when model weights are private. We introduce proxy-tuning, a lightweight decoding-time algorithm that operates on top of black-box LMs to achieve the result of directly tuning the model, but by accessing only its prediction over the output vocabulary. Our method instead tunes a smaller LM, then applies the difference between the predictions of the small tuned and untuned LMs to shift the original predictions of the base model in the direction of tuning, while retaining the benefits of larger scale pretraining. In experiments, when we apply proxy-tuning to Llama2-70B using proxies of only 7B size, we can close 88% of the gap between Llama2-70B and its truly-tuned chat version, when evaluated across knowledge, reasoning, and safety benchmarks. Interestingly, when tested on TruthfulQA, proxy-tuned models are actually more truthful than directly tuned models, possibly because decoding-time guidance better retains the model's factual knowledge. We then demonstrate the generality of proxy-tuning by applying it for domain adaptation on code, and task-specific finetuning on question-answering and math problems. Our work demonstrates the promise of using small tuned LMs to efficiently customize large, potentially proprietary LMs through decoding-time guidance.