Ajuste de Modelos de Lenguaje mediante Proxy

Resumen

A pesar de las capacidades generales de los grandes modelos de lenguaje preentrenados, estos se benefician consistentemente de una mayor adaptación para lograr mejor los comportamientos deseados. Sin embargo, ajustar estos modelos se ha vuelto cada vez más intensivo en recursos, o imposible cuando los pesos del modelo son privados. Introducimos el proxy-tuning, un algoritmo ligero en tiempo de decodificación que opera sobre modelos de lenguaje de caja negra para lograr el resultado de ajustar directamente el modelo, pero accediendo solo a sus predicciones sobre el vocabulario de salida. Nuestro método ajusta en su lugar un modelo de lenguaje más pequeño, luego aplica la diferencia entre las predicciones de los modelos pequeños ajustados y no ajustados para desplazar las predicciones originales del modelo base en la dirección del ajuste, manteniendo los beneficios del preentrenamiento a gran escala. En experimentos, cuando aplicamos proxy-tuning a Llama2-70B usando proxies de solo 7B de tamaño, podemos cerrar el 88% de la brecha entre Llama2-70B y su versión de chat realmente ajustada, cuando se evalúa en benchmarks de conocimiento, razonamiento y seguridad. Curiosamente, cuando se prueba en TruthfulQA, los modelos con proxy-tuning son en realidad más veraces que los modelos ajustados directamente, posiblemente porque la guía en tiempo de decodificación conserva mejor el conocimiento factual del modelo. Luego demostramos la generalidad del proxy-tuning aplicándolo para la adaptación de dominio en código y el ajuste específico de tareas en resolución de preguntas y problemas matemáticos. Nuestro trabajo demuestra el potencial de usar modelos de lenguaje pequeños ajustados para personalizar eficientemente modelos de lenguaje grandes, potencialmente propietarios, mediante guía en tiempo de decodificación.

English

Despite the general capabilities of large pretrained language models, they consistently benefit from further adaptation to better achieve desired behaviors. However, tuning these models has become increasingly resource-intensive, or impossible when model weights are private. We introduce proxy-tuning, a lightweight decoding-time algorithm that operates on top of black-box LMs to achieve the result of directly tuning the model, but by accessing only its prediction over the output vocabulary. Our method instead tunes a smaller LM, then applies the difference between the predictions of the small tuned and untuned LMs to shift the original predictions of the base model in the direction of tuning, while retaining the benefits of larger scale pretraining. In experiments, when we apply proxy-tuning to Llama2-70B using proxies of only 7B size, we can close 88% of the gap between Llama2-70B and its truly-tuned chat version, when evaluated across knowledge, reasoning, and safety benchmarks. Interestingly, when tested on TruthfulQA, proxy-tuned models are actually more truthful than directly tuned models, possibly because decoding-time guidance better retains the model's factual knowledge. We then demonstrate the generality of proxy-tuning by applying it for domain adaptation on code, and task-specific finetuning on question-answering and math problems. Our work demonstrates the promise of using small tuned LMs to efficiently customize large, potentially proprietary LMs through decoding-time guidance.

Ajuste de Modelos de Lenguaje mediante Proxy

Tuning Language Models by Proxy

Resumen

Support