Le réglage symbolique améliore l'apprentissage en contexte dans les modèles de langage.

Symbol tuning improves in-context learning in language models

May 15, 2023

Auteurs: Jerry Wei, Le Hou, Andrew Lampinen, Xiangning Chen, Da Huang, Yi Tay, Xinyun Chen, Yifeng Lu, Denny Zhou, Tengyu Ma, Quoc V. Le

cs.AI

Résumé

Nous présentons le symbol tuning - une méthode de fine-tuning des modèles de langage sur des paires entrée-étiquette en contexte où les étiquettes en langage naturel (par exemple, "sentiment positif/négatif") sont remplacées par des symboles arbitraires (par exemple, "foo/bar"). Le symbol tuning s'appuie sur l'intuition que lorsqu'un modèle ne peut pas utiliser des instructions ou des étiquettes en langage naturel pour comprendre une tâche, il doit plutôt apprendre les correspondances entre les entrées et les étiquettes. Nous expérimentons le symbol tuning sur des modèles Flan-PaLM allant jusqu'à 540 milliards de paramètres et observons des avantages dans divers contextes. Premièrement, le symbol tuning améliore les performances sur des tâches d'apprentissage en contexte non vues auparavant et est beaucoup plus robuste face à des prompts sous-spécifiés, tels que ceux sans instructions ou sans étiquettes en langage naturel. Deuxièmement, les modèles ajustés par symbol tuning sont beaucoup plus performants dans les tâches de raisonnement algorithmique, avec jusqu'à 18,2 % de meilleures performances sur le benchmark List Functions et jusqu'à 15,3 % de meilleures performances sur le benchmark Simple Turing Concepts. Enfin, les modèles ajustés par symbol tuning montrent des améliorations significatives dans la capacité à suivre des étiquettes inversées présentées en contexte, ce qui signifie qu'ils sont plus aptes à utiliser l'information contextuelle pour surmonter les connaissances sémantiques antérieures.

English

We present symbol tuning - finetuning language models on in-context input-label pairs where natural language labels (e.g., "positive/negative sentiment") are replaced with arbitrary symbols (e.g., "foo/bar"). Symbol tuning leverages the intuition that when a model cannot use instructions or natural language labels to figure out a task, it must instead do so by learning the input-label mappings. We experiment with symbol tuning across Flan-PaLM models up to 540B parameters and observe benefits across various settings. First, symbol tuning boosts performance on unseen in-context learning tasks and is much more robust to underspecified prompts, such as those without instructions or without natural language labels. Second, symbol-tuned models are much stronger at algorithmic reasoning tasks, with up to 18.2% better performance on the List Functions benchmark and up to 15.3% better performance on the Simple Turing Concepts benchmark. Finally, symbol-tuned models show large improvements in following flipped-labels presented in-context, meaning that they are more capable of using in-context information to override prior semantic knowledge.