Символьная настройка улучшает обучение в контексте языковых моделей.

Symbol tuning improves in-context learning in language models

May 15, 2023

Авторы: Jerry Wei, Le Hou, Andrew Lampinen, Xiangning Chen, Da Huang, Yi Tay, Xinyun Chen, Yifeng Lu, Denny Zhou, Tengyu Ma, Quoc V. Le

cs.AI

Аннотация

Мы представляем метод символической тонкой настройки (symbol tuning) — дообучение языковых моделей на парах "вход-метка" в контексте, где естественно-языковые метки (например, "положительный/отрицательный отзыв") заменяются произвольными символами (например, "foo/bar"). Символическая тонкая настройка основывается на интуиции, что если модель не может использовать инструкции или естественно-языковые метки для понимания задачи, она должна научиться этому через изучение соответствий между входными данными и метками. Мы экспериментируем с символической тонкой настройкой на моделях Flan-PaLM с числом параметров до 540 миллиардов и наблюдаем преимущества в различных сценариях. Во-первых, символическая тонкая настройка повышает производительность на задачах обучения в контексте, которые модель ранее не видела, и делает модель значительно более устойчивой к недостаточно специфицированным запросам, таким как те, в которых отсутствуют инструкции или естественно-языковые метки. Во-вторых, модели, прошедшие символическую тонкую настройку, демонстрируют значительно лучшие результаты в задачах алгоритмического мышления, с улучшением до 18,2% на бенчмарке List Functions и до 15,3% на бенчмарке Simple Turing Concepts. Наконец, такие модели показывают значительные улучшения в следовании перевернутым меткам, представленным в контексте, что означает их повышенную способность использовать контекстную информацию для переопределения ранее усвоенных семантических знаний.

English

We present symbol tuning - finetuning language models on in-context input-label pairs where natural language labels (e.g., "positive/negative sentiment") are replaced with arbitrary symbols (e.g., "foo/bar"). Symbol tuning leverages the intuition that when a model cannot use instructions or natural language labels to figure out a task, it must instead do so by learning the input-label mappings. We experiment with symbol tuning across Flan-PaLM models up to 540B parameters and observe benefits across various settings. First, symbol tuning boosts performance on unseen in-context learning tasks and is much more robust to underspecified prompts, such as those without instructions or without natural language labels. Second, symbol-tuned models are much stronger at algorithmic reasoning tasks, with up to 18.2% better performance on the List Functions benchmark and up to 15.3% better performance on the Simple Turing Concepts benchmark. Finally, symbol-tuned models show large improvements in following flipped-labels presented in-context, meaning that they are more capable of using in-context information to override prior semantic knowledge.