El ajuste simbólico mejora el aprendizaje en contexto en los modelos de lenguaje.

Symbol tuning improves in-context learning in language models

May 15, 2023

Autores: Jerry Wei, Le Hou, Andrew Lampinen, Xiangning Chen, Da Huang, Yi Tay, Xinyun Chen, Yifeng Lu, Denny Zhou, Tengyu Ma, Quoc V. Le

cs.AI

Resumen

Presentamos el ajuste simbólico (symbol tuning): el ajuste fino de modelos de lenguaje en pares de entrada-etiqueta en contexto, donde las etiquetas en lenguaje natural (por ejemplo, "sentimiento positivo/negativo") se reemplazan con símbolos arbitrarios (por ejemplo, "foo/bar"). El ajuste simbólico aprovecha la intuición de que, cuando un modelo no puede utilizar instrucciones o etiquetas en lenguaje natural para comprender una tarea, debe aprender las correspondencias entre entradas y etiquetas. Experimentamos con el ajuste simbólico en modelos Flan-PaLM de hasta 540 mil millones de parámetros y observamos beneficios en diversos escenarios. En primer lugar, el ajuste simbólico mejora el rendimiento en tareas de aprendizaje en contexto no vistas y es mucho más robusto ante indicaciones poco especificadas, como aquellas sin instrucciones o sin etiquetas en lenguaje natural. En segundo lugar, los modelos ajustados simbólicamente son mucho más fuertes en tareas de razonamiento algorítmico, con mejoras de hasta un 18,2 % en el benchmark List Functions y hasta un 15,3 % en el benchmark Simple Turing Concepts. Finalmente, los modelos ajustados simbólicamente muestran grandes mejoras en la capacidad de seguir etiquetas invertidas presentadas en contexto, lo que significa que son más capaces de utilizar información en contexto para anular conocimientos semánticos previos.

English

We present symbol tuning - finetuning language models on in-context input-label pairs where natural language labels (e.g., "positive/negative sentiment") are replaced with arbitrary symbols (e.g., "foo/bar"). Symbol tuning leverages the intuition that when a model cannot use instructions or natural language labels to figure out a task, it must instead do so by learning the input-label mappings. We experiment with symbol tuning across Flan-PaLM models up to 540B parameters and observe benefits across various settings. First, symbol tuning boosts performance on unseen in-context learning tasks and is much more robust to underspecified prompts, such as those without instructions or without natural language labels. Second, symbol-tuned models are much stronger at algorithmic reasoning tasks, with up to 18.2% better performance on the List Functions benchmark and up to 15.3% better performance on the Simple Turing Concepts benchmark. Finally, symbol-tuned models show large improvements in following flipped-labels presented in-context, meaning that they are more capable of using in-context information to override prior semantic knowledge.