Настройка языковых моделей через прокси

Аннотация

Несмотря на общие возможности крупных предобученных языковых моделей, они неизменно выигрывают от дальнейшей адаптации для более эффективного достижения желаемого поведения. Однако настройка таких моделей становится всё более ресурсоёмкой или невозможной, если веса модели являются закрытыми. Мы представляем метод proxy-tuning — лёгкий алгоритм, работающий на этапе декодирования поверх чёрного ящика языковых моделей, который позволяет достичь результата, аналогичного прямой настройке модели, но при этом используя только её предсказания над выходным словарём. Вместо этого наш метод настраивает меньшую модель, а затем применяет разницу между предсказаниями настроенной и ненастроенной малых моделей, чтобы сместить исходные предсказания базовой модели в сторону настройки, сохраняя при этом преимущества крупномасштабного предобучения. В экспериментах, когда мы применяем proxy-tuning к модели Llama2-70B, используя прокси-модели размером всего 7B, мы можем сократить 88% разрыва между Llama2-70B и её полностью настроенной чат-версией при оценке на тестах знаний, рассуждений и безопасности. Интересно, что при тестировании на TruthfulQA модели, настроенные с помощью proxy-tuning, оказываются более правдивыми, чем модели, настроенные напрямую, возможно, потому что управление на этапе декодирования лучше сохраняет фактические знания модели. Затем мы демонстрируем универсальность proxy-tuning, применяя его для адаптации к домену в коде и специфической настройки для задач ответов на вопросы и решения математических задач. Наша работа демонстрирует перспективность использования небольших настроенных моделей для эффективной кастомизации крупных, потенциально проприетарных моделей через управление на этапе декодирования.

English

Despite the general capabilities of large pretrained language models, they consistently benefit from further adaptation to better achieve desired behaviors. However, tuning these models has become increasingly resource-intensive, or impossible when model weights are private. We introduce proxy-tuning, a lightweight decoding-time algorithm that operates on top of black-box LMs to achieve the result of directly tuning the model, but by accessing only its prediction over the output vocabulary. Our method instead tunes a smaller LM, then applies the difference between the predictions of the small tuned and untuned LMs to shift the original predictions of the base model in the direction of tuning, while retaining the benefits of larger scale pretraining. In experiments, when we apply proxy-tuning to Llama2-70B using proxies of only 7B size, we can close 88% of the gap between Llama2-70B and its truly-tuned chat version, when evaluated across knowledge, reasoning, and safety benchmarks. Interestingly, when tested on TruthfulQA, proxy-tuned models are actually more truthful than directly tuned models, possibly because decoding-time guidance better retains the model's factual knowledge. We then demonstrate the generality of proxy-tuning by applying it for domain adaptation on code, and task-specific finetuning on question-answering and math problems. Our work demonstrates the promise of using small tuned LMs to efficiently customize large, potentially proprietary LMs through decoding-time guidance.

Настройка языковых моделей через прокси

Tuning Language Models by Proxy

Аннотация

Support