A sintonia de símbolos aprimora o aprendizado em contexto em modelos de linguagem.

Symbol tuning improves in-context learning in language models

May 15, 2023

Autores: Jerry Wei, Le Hou, Andrew Lampinen, Xiangning Chen, Da Huang, Yi Tay, Xinyun Chen, Yifeng Lu, Denny Zhou, Tengyu Ma, Quoc V. Le

cs.AI

Resumo

Apresentamos o ajuste por símbolos - o ajuste fino de modelos de linguagem em pares entrada-rótulo no contexto, onde os rótulos em linguagem natural (por exemplo, "sentimento positivo/negativo") são substituídos por símbolos arbitrários (por exemplo, "foo/bar"). O ajuste por símbolos aproveita a intuição de que, quando um modelo não pode usar instruções ou rótulos em linguagem natural para entender uma tarefa, ele deve fazê-lo aprendendo os mapeamentos entre entradas e rótulos. Realizamos experimentos com ajuste por símbolos em modelos Flan-PaLM de até 540 bilhões de parâmetros e observamos benefícios em várias configurações. Primeiro, o ajuste por símbolos melhora o desempenho em tarefas de aprendizado no contexto não vistas anteriormente e é muito mais robusto a prompts mal especificados, como aqueles sem instruções ou sem rótulos em linguagem natural. Segundo, os modelos ajustados por símbolos são muito mais fortes em tarefas de raciocínio algorítmico, com até 18,2% de melhoria no benchmark List Functions e até 15,3% de melhoria no benchmark Simple Turing Concepts. Por fim, os modelos ajustados por símbolos mostram grandes melhorias ao seguir rótulos invertidos apresentados no contexto, o que significa que são mais capazes de usar informações no contexto para substituir conhecimentos semânticos prévios.

English

We present symbol tuning - finetuning language models on in-context input-label pairs where natural language labels (e.g., "positive/negative sentiment") are replaced with arbitrary symbols (e.g., "foo/bar"). Symbol tuning leverages the intuition that when a model cannot use instructions or natural language labels to figure out a task, it must instead do so by learning the input-label mappings. We experiment with symbol tuning across Flan-PaLM models up to 540B parameters and observe benefits across various settings. First, symbol tuning boosts performance on unseen in-context learning tasks and is much more robust to underspecified prompts, such as those without instructions or without natural language labels. Second, symbol-tuned models are much stronger at algorithmic reasoning tasks, with up to 18.2% better performance on the List Functions benchmark and up to 15.3% better performance on the Simple Turing Concepts benchmark. Finally, symbol-tuned models show large improvements in following flipped-labels presented in-context, meaning that they are more capable of using in-context information to override prior semantic knowledge.