O CausalLM não é ideal para aprendizado em contexto.

CausalLM is not optimal for in-context learning

August 14, 2023

Autores: Nan Ding, Tomer Levinboim, Jialin Wu, Sebastian Goodman, Radu Soricut

cs.AI

Resumo

Evidências empíricas recentes indicam que o aprendizado em contexto baseado em transformers apresenta melhor desempenho ao utilizar um modelo de linguagem com prefixo (prefixLM), no qual as amostras em contexto podem atender umas às outras, em comparação com modelos de linguagem causais (causalLM), que utilizam atenção autorregressiva que impede as amostras em contexto de atenderem a amostras futuras. Embora esse resultado seja intuitivo, ele não é compreendido de uma perspectiva teórica. Neste artigo, adotamos uma abordagem teórica e analisamos o comportamento de convergência do prefixLM e do causalLM sob uma determinada construção de parâmetros. Nossa análise mostra que ambos os tipos de LM convergem para seus pontos estacionários a uma taxa linear, mas, enquanto o prefixLM converge para a solução ótima da regressão linear, a dinâmica de convergência do causalLM segue a de um algoritmo de descida de gradiente online, que não é garantido ser ótimo, mesmo com o número de amostras crescendo infinitamente. Complementamos nossas afirmações teóricas com experimentos empíricos em tarefas sintéticas e reais, utilizando diversos tipos de transformers. Nossos experimentos verificam que o causalLM consistentemente tem desempenho inferior ao prefixLM em todos os cenários.

English

Recent empirical evidence indicates that transformer based in-context learning performs better when using a prefix language model (prefixLM), in which in-context samples can all attend to each other, compared to causal language models (causalLM), which use auto-regressive attention that prohibits in-context samples to attend to future samples. While this result is intuitive, it is not understood from a theoretical perspective. In this paper we take a theoretical approach and analyze the convergence behavior of prefixLM and causalLM under a certain parameter construction. Our analysis shows that both LM types converge to their stationary points at a linear rate, but that while prefixLM converges to the optimal solution of linear regression, causalLM convergence dynamics follows that of an online gradient descent algorithm, which is not guaranteed to be optimal even as the number of samples grows infinitely. We supplement our theoretical claims with empirical experiments over synthetic and real tasks and using various types of transformers. Our experiments verify that causalLM consistently underperforms prefixLM in all settings.