Symbol tuning verbetert in-context leren in taalmodelen.

Symbol tuning improves in-context learning in language models

May 15, 2023

Auteurs: Jerry Wei, Le Hou, Andrew Lampinen, Xiangning Chen, Da Huang, Yi Tay, Xinyun Chen, Yifeng Lu, Denny Zhou, Tengyu Ma, Quoc V. Le

cs.AI

Samenvatting

We presenteren symbol tuning - het finetunen van taalmodelen op in-context invoer-label paren waarbij natuurlijke taal labels (bijvoorbeeld "positieve/negatieve sentiment") worden vervangen door willekeurige symbolen (bijvoorbeeld "foo/bar"). Symbol tuning maakt gebruik van de intuïtie dat wanneer een model instructies of natuurlijke taal labels niet kan gebruiken om een taak te begrijpen, het in plaats daarvan de invoer-label mapping moet leren. We experimenteren met symbol tuning op Flan-PaLM modellen tot 540B parameters en observeren voordelen in verschillende settings. Ten eerste verbetert symbol tuning de prestaties op onbekende in-context leertaken en is het veel robuuster tegen onvolledige prompts, zoals die zonder instructies of zonder natuurlijke taal labels. Ten tweede zijn symbol-getunede modellen veel sterker in algoritmische redeneertaken, met tot 18,2% betere prestaties op de List Functions benchmark en tot 15,3% betere prestaties op de Simple Turing Concepts benchmark. Tot slot laten symbol-getunede modellen grote verbeteringen zien in het volgen van omgekeerde labels die in-context worden gepresenteerd, wat betekent dat ze beter in staat zijn om in-context informatie te gebruiken om eerder opgedane semantische kennis te overschrijven.

English

We present symbol tuning - finetuning language models on in-context input-label pairs where natural language labels (e.g., "positive/negative sentiment") are replaced with arbitrary symbols (e.g., "foo/bar"). Symbol tuning leverages the intuition that when a model cannot use instructions or natural language labels to figure out a task, it must instead do so by learning the input-label mappings. We experiment with symbol tuning across Flan-PaLM models up to 540B parameters and observe benefits across various settings. First, symbol tuning boosts performance on unseen in-context learning tasks and is much more robust to underspecified prompts, such as those without instructions or without natural language labels. Second, symbol-tuned models are much stronger at algorithmic reasoning tasks, with up to 18.2% better performance on the List Functions benchmark and up to 15.3% better performance on the Simple Turing Concepts benchmark. Finally, symbol-tuned models show large improvements in following flipped-labels presented in-context, meaning that they are more capable of using in-context information to override prior semantic knowledge.