I Modelli Piccoli Sono Componenti Preziosi per i Modelli Linguistici di Grandi Dimensioni

Small Models are Valuable Plug-ins for Large Language Models

May 15, 2023

Autori: Canwen Xu, Yichong Xu, Shuohang Wang, Yang Liu, Chenguang Zhu, Julian McAuley

cs.AI

Abstract

I grandi modelli linguistici (LLM) come GPT-3 e GPT-4 sono potenti, ma i loro pesi sono spesso non disponibili pubblicamente e le loro dimensioni immense rendono difficile l'ottimizzazione di questi modelli con hardware comune. Di conseguenza, ottimizzare efficacemente questi modelli con dati supervisionati su larga scala può essere impegnativo. Come alternativa, l'apprendimento in contesto (In-Context Learning, ICL) può utilizzare solo un numero limitato di esempi supervisionati a causa dei limiti di lunghezza del contesto. In questo articolo, proponiamo il Super In-Context Learning (SuperICL), che consente ai LLM black-box di lavorare con modelli più piccoli ottimizzati localmente, ottenendo prestazioni superiori nei compiti supervisionati. I nostri esperimenti dimostrano che SuperICL può migliorare le prestazioni oltre i modelli ottimizzati all'avanguardia, affrontando contemporaneamente il problema dell'instabilità dell'apprendimento in contesto. Inoltre, SuperICL può potenziare le capacità dei modelli più piccoli, come la multilinguità e l'interpretabilità.

English

Large language models (LLMs) such as GPT-3 and GPT-4 are powerful but their weights are often publicly unavailable and their immense sizes make the models difficult to be tuned with common hardware. As a result, effectively tuning these models with large-scale supervised data can be challenging. As an alternative, In-Context Learning (ICL) can only use a small number of supervised examples due to context length limits. In this paper, we propose Super In-Context Learning (SuperICL) which allows black-box LLMs to work with locally fine-tuned smaller models, resulting in superior performance on supervised tasks. Our experiments demonstrate that SuperICL can improve performance beyond state-of-the-art fine-tuned models while addressing the instability problem of in-context learning. Furthermore, SuperICL can enhance the capabilities of smaller models, such as multilinguality and interpretability.