Modelos Pequenos são Plug-ins Valiosos para Modelos de Linguagem de Grande Escala

Small Models are Valuable Plug-ins for Large Language Models

May 15, 2023

Autores: Canwen Xu, Yichong Xu, Shuohang Wang, Yang Liu, Chenguang Zhu, Julian McAuley

cs.AI

Resumo

Modelos de linguagem de grande escala (LLMs), como GPT-3 e GPT-4, são poderosos, mas seus pesos geralmente não estão disponíveis publicamente, e seus tamanhos imensos tornam esses modelos difíceis de ajustar com hardware comum. Como resultado, ajustar efetivamente esses modelos com dados supervisionados em grande escala pode ser desafiador. Como alternativa, o Aprendizado em Contexto (In-Context Learning, ICL) só pode usar um pequeno número de exemplos supervisionados devido às limitações de comprimento do contexto. Neste artigo, propomos o Aprendizado em Contexto Super (SuperICL), que permite que LLMs de caixa preta trabalhem com modelos menores ajustados localmente, resultando em desempenho superior em tarefas supervisionadas. Nossos experimentos demonstram que o SuperICL pode melhorar o desempenho além dos modelos ajustados state-of-the-art, ao mesmo tempo em que aborda o problema de instabilidade do aprendizado em contexto. Além disso, o SuperICL pode aprimorar as capacidades de modelos menores, como multilingue e interpretabilidade.

English

Large language models (LLMs) such as GPT-3 and GPT-4 are powerful but their weights are often publicly unavailable and their immense sizes make the models difficult to be tuned with common hardware. As a result, effectively tuning these models with large-scale supervised data can be challenging. As an alternative, In-Context Learning (ICL) can only use a small number of supervised examples due to context length limits. In this paper, we propose Super In-Context Learning (SuperICL) which allows black-box LLMs to work with locally fine-tuned smaller models, resulting in superior performance on supervised tasks. Our experiments demonstrate that SuperICL can improve performance beyond state-of-the-art fine-tuned models while addressing the instability problem of in-context learning. Furthermore, SuperICL can enhance the capabilities of smaller models, such as multilinguality and interpretability.