ChatPaper.aiChatPaper

Symbol-Tuning verbessert das In-Context-Lernen in Sprachmodellen.

Symbol tuning improves in-context learning in language models

May 15, 2023
Autoren: Jerry Wei, Le Hou, Andrew Lampinen, Xiangning Chen, Da Huang, Yi Tay, Xinyun Chen, Yifeng Lu, Denny Zhou, Tengyu Ma, Quoc V. Le
cs.AI

Zusammenfassung

Wir präsentieren Symbol-Tuning – das Feinabstimmen von Sprachmodellen auf In-Kontext-Eingabe-Label-Paare, bei denen natürliche Sprachlabels (z. B. „positive/negative Stimmung“) durch beliebige Symbole (z. B. „foo/bar“) ersetzt werden. Symbol-Tuning nutzt die Intuition, dass ein Modell, wenn es keine Anweisungen oder natürlichen Sprachlabels verwenden kann, um eine Aufgabe zu lösen, stattdessen die Eingabe-Label-Zuordnungen erlernen muss. Wir experimentieren mit Symbol-Tuning an Flan-PaLM-Modellen mit bis zu 540 Milliarden Parametern und beobachten Vorteile in verschiedenen Szenarien. Erstens verbessert Symbol-Tuning die Leistung bei unbekannten In-Kontext-Lernaufgaben und ist wesentlich robuster gegenüber unzureichend spezifizierten Eingabeaufforderungen, wie solchen ohne Anweisungen oder ohne natürliche Sprachlabels. Zweitens sind symbol-abgestimmte Modelle deutlich stärker bei algorithmischen Denkaufgaben, mit bis zu 18,2 % besserer Leistung beim List-Functions-Benchmark und bis zu 15,3 % besserer Leistung beim Simple-Turing-Concepts-Benchmark. Schließlich zeigen symbol-abgestimmte Modelle große Verbesserungen im Umgang mit umgekehrten Labels, die im Kontext präsentiert werden, was bedeutet, dass sie besser in der Lage sind, In-Kontext-Informationen zu nutzen, um vorheriges semantisches Wissen zu überschreiben.
English
We present symbol tuning - finetuning language models on in-context input-label pairs where natural language labels (e.g., "positive/negative sentiment") are replaced with arbitrary symbols (e.g., "foo/bar"). Symbol tuning leverages the intuition that when a model cannot use instructions or natural language labels to figure out a task, it must instead do so by learning the input-label mappings. We experiment with symbol tuning across Flan-PaLM models up to 540B parameters and observe benefits across various settings. First, symbol tuning boosts performance on unseen in-context learning tasks and is much more robust to underspecified prompts, such as those without instructions or without natural language labels. Second, symbol-tuned models are much stronger at algorithmic reasoning tasks, with up to 18.2% better performance on the List Functions benchmark and up to 15.3% better performance on the Simple Turing Concepts benchmark. Finally, symbol-tuned models show large improvements in following flipped-labels presented in-context, meaning that they are more capable of using in-context information to override prior semantic knowledge.
PDF30December 15, 2024