Um Olhar Mais Atento sobre o Aprendizado em Contexto sob Mudanças de Distribuição

A Closer Look at In-Context Learning under Distribution Shifts

May 26, 2023

Autores: Kartik Ahuja, David Lopez-Paz

cs.AI

Resumo

O aprendizado em contexto, uma capacidade que permite a um modelo aprender a partir de exemplos de entrada de forma dinâmica sem a necessidade de atualizações de pesos, é uma característica definidora dos grandes modelos de linguagem. Neste trabalho, seguimos o cenário proposto em (Garg et al., 2022) para compreender melhor a generalidade e as limitações do aprendizado em contexto sob a perspectiva da tarefa simples, porém fundamental, de regressão linear. A questão central que buscamos abordar é: os transformadores são mais habilidosos do que algumas arquiteturas naturais e mais simples na execução do aprendizado em contexto sob diferentes mudanças de distribuição? Para comparar os transformadores, propomos o uso de uma arquitetura simples baseada em Perceptrons Multicamadas (MLPs) baseados em conjuntos. Descobrimos que tanto os transformadores quanto os MLPs baseados em conjuntos exibem aprendizado em contexto em avaliações dentro da distribuição, mas os transformadores se aproximam mais do desempenho dos mínimos quadrados ordinários (OLS). Os transformadores também demonstram maior resiliência a mudanças leves de distribuição, onde os MLPs baseados em conjuntos falham. No entanto, sob mudanças severas de distribuição, as habilidades de aprendizado em contexto de ambos os modelos diminuem.

English

In-context learning, a capability that enables a model to learn from input examples on the fly without necessitating weight updates, is a defining characteristic of large language models. In this work, we follow the setting proposed in (Garg et al., 2022) to better understand the generality and limitations of in-context learning from the lens of the simple yet fundamental task of linear regression. The key question we aim to address is: Are transformers more adept than some natural and simpler architectures at performing in-context learning under varying distribution shifts? To compare transformers, we propose to use a simple architecture based on set-based Multi-Layer Perceptrons (MLPs). We find that both transformers and set-based MLPs exhibit in-context learning under in-distribution evaluations, but transformers more closely emulate the performance of ordinary least squares (OLS). Transformers also display better resilience to mild distribution shifts, where set-based MLPs falter. However, under severe distribution shifts, both models' in-context learning abilities diminish.