Los modelos pequeños son complementos valiosos para los modelos de lenguaje grandes.

Small Models are Valuable Plug-ins for Large Language Models

May 15, 2023

Autores: Canwen Xu, Yichong Xu, Shuohang Wang, Yang Liu, Chenguang Zhu, Julian McAuley

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) como GPT-3 y GPT-4 son potentes, pero sus pesos a menudo no están disponibles públicamente y sus enormes tamaños hacen que estos modelos sean difíciles de ajustar con hardware común. Como resultado, ajustar efectivamente estos modelos con datos supervisados a gran escala puede ser un desafío. Como alternativa, el aprendizaje en contexto (In-Context Learning, ICL) solo puede utilizar un número reducido de ejemplos supervisados debido a las limitaciones de longitud del contexto. En este artículo, proponemos el Aprendizaje Super en Contexto (SuperICL), que permite a los LLMs de caja negra trabajar con modelos más pequeños ajustados localmente, logrando un rendimiento superior en tareas supervisadas. Nuestros experimentos demuestran que SuperICL puede mejorar el rendimiento más allá de los modelos ajustados más avanzados, al mismo tiempo que aborda el problema de inestabilidad del aprendizaje en contexto. Además, SuperICL puede potenciar las capacidades de modelos más pequeños, como la multilingüidad y la interpretabilidad.

English

Large language models (LLMs) such as GPT-3 and GPT-4 are powerful but their weights are often publicly unavailable and their immense sizes make the models difficult to be tuned with common hardware. As a result, effectively tuning these models with large-scale supervised data can be challenging. As an alternative, In-Context Learning (ICL) can only use a small number of supervised examples due to context length limits. In this paper, we propose Super In-Context Learning (SuperICL) which allows black-box LLMs to work with locally fine-tuned smaller models, resulting in superior performance on supervised tasks. Our experiments demonstrate that SuperICL can improve performance beyond state-of-the-art fine-tuned models while addressing the instability problem of in-context learning. Furthermore, SuperICL can enhance the capabilities of smaller models, such as multilinguality and interpretability.