La sintonizzazione simbolica migliora l'apprendimento in contesto nei modelli linguistici

Symbol tuning improves in-context learning in language models

May 15, 2023

Autori: Jerry Wei, Le Hou, Andrew Lampinen, Xiangning Chen, Da Huang, Yi Tay, Xinyun Chen, Yifeng Lu, Denny Zhou, Tengyu Ma, Quoc V. Le

cs.AI

Abstract

Presentiamo il symbol tuning - un approccio di fine-tuning per modelli linguistici basato su coppie input-label in contesto, in cui le etichette in linguaggio naturale (ad esempio, "sentimento positivo/negativo") vengono sostituite con simboli arbitrari (ad esempio, "foo/bar"). Il symbol tuning sfrutta l'intuizione che, quando un modello non può utilizzare istruzioni o etichette in linguaggio naturale per comprendere un compito, deve invece imparare a farlo apprendendo le mappature tra input e label. Abbiamo sperimentato il symbol tuning su modelli Flan-PaLM fino a 540 miliardi di parametri e osservato benefici in vari contesti. In primo luogo, il symbol tuning migliora le prestazioni su task di apprendimento in contesto non visti in precedenza e risulta molto più robusto rispetto a prompt non specificati, come quelli privi di istruzioni o di etichette in linguaggio naturale. In secondo luogo, i modelli sottoposti a symbol tuning dimostrano una capacità notevolmente superiore nei task di ragionamento algoritmico, con un miglioramento fino al 18,2% nel benchmark List Functions e fino al 15,3% nel benchmark Simple Turing Concepts. Infine, i modelli symbol-tuned mostrano significativi miglioramenti nel seguire etichette invertite presentate in contesto, il che significa che sono più capaci di utilizzare le informazioni contestuali per sovrascrivere le conoscenze semantiche pregresse.

English

We present symbol tuning - finetuning language models on in-context input-label pairs where natural language labels (e.g., "positive/negative sentiment") are replaced with arbitrary symbols (e.g., "foo/bar"). Symbol tuning leverages the intuition that when a model cannot use instructions or natural language labels to figure out a task, it must instead do so by learning the input-label mappings. We experiment with symbol tuning across Flan-PaLM models up to 540B parameters and observe benefits across various settings. First, symbol tuning boosts performance on unseen in-context learning tasks and is much more robust to underspecified prompts, such as those without instructions or without natural language labels. Second, symbol-tuned models are much stronger at algorithmic reasoning tasks, with up to 18.2% better performance on the List Functions benchmark and up to 15.3% better performance on the Simple Turing Concepts benchmark. Finally, symbol-tuned models show large improvements in following flipped-labels presented in-context, meaning that they are more capable of using in-context information to override prior semantic knowledge.