Symbol-Tuning verbessert das In-Context-Lernen in Sprachmodellen.
Symbol tuning improves in-context learning in language models
May 15, 2023
Autoren: Jerry Wei, Le Hou, Andrew Lampinen, Xiangning Chen, Da Huang, Yi Tay, Xinyun Chen, Yifeng Lu, Denny Zhou, Tengyu Ma, Quoc V. Le
cs.AI
Zusammenfassung
Wir präsentieren Symbol-Tuning – das Feinabstimmen von Sprachmodellen auf In-Kontext-Eingabe-Label-Paare, bei denen natürliche Sprachlabels (z. B. „positive/negative Stimmung“) durch beliebige Symbole (z. B. „foo/bar“) ersetzt werden. Symbol-Tuning nutzt die Intuition, dass ein Modell, wenn es keine Anweisungen oder natürlichen Sprachlabels verwenden kann, um eine Aufgabe zu lösen, stattdessen die Eingabe-Label-Zuordnungen erlernen muss.
Wir experimentieren mit Symbol-Tuning an Flan-PaLM-Modellen mit bis zu 540 Milliarden Parametern und beobachten Vorteile in verschiedenen Szenarien. Erstens verbessert Symbol-Tuning die Leistung bei unbekannten In-Kontext-Lernaufgaben und ist wesentlich robuster gegenüber unzureichend spezifizierten Eingabeaufforderungen, wie solchen ohne Anweisungen oder ohne natürliche Sprachlabels. Zweitens sind symbol-abgestimmte Modelle deutlich stärker bei algorithmischen Denkaufgaben, mit bis zu 18,2 % besserer Leistung beim List-Functions-Benchmark und bis zu 15,3 % besserer Leistung beim Simple-Turing-Concepts-Benchmark. Schließlich zeigen symbol-abgestimmte Modelle große Verbesserungen im Umgang mit umgekehrten Labels, die im Kontext präsentiert werden, was bedeutet, dass sie besser in der Lage sind, In-Kontext-Informationen zu nutzen, um vorheriges semantisches Wissen zu überschreiben.
English
We present symbol tuning - finetuning language models on in-context
input-label pairs where natural language labels (e.g., "positive/negative
sentiment") are replaced with arbitrary symbols (e.g., "foo/bar"). Symbol
tuning leverages the intuition that when a model cannot use instructions or
natural language labels to figure out a task, it must instead do so by learning
the input-label mappings.
We experiment with symbol tuning across Flan-PaLM models up to 540B
parameters and observe benefits across various settings. First, symbol tuning
boosts performance on unseen in-context learning tasks and is much more robust
to underspecified prompts, such as those without instructions or without
natural language labels. Second, symbol-tuned models are much stronger at
algorithmic reasoning tasks, with up to 18.2% better performance on the List
Functions benchmark and up to 15.3% better performance on the Simple Turing
Concepts benchmark. Finally, symbol-tuned models show large improvements in
following flipped-labels presented in-context, meaning that they are more
capable of using in-context information to override prior semantic knowledge.