Kleine Modelle sind wertvolle Plug-ins für große Sprachmodelle.

Small Models are Valuable Plug-ins for Large Language Models

May 15, 2023

Autoren: Canwen Xu, Yichong Xu, Shuohang Wang, Yang Liu, Chenguang Zhu, Julian McAuley

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) wie GPT-3 und GPT-4 sind leistungsstark, doch ihre Gewichte sind oft öffentlich nicht verfügbar, und ihre enormen Größen machen es schwierig, die Modelle mit gängiger Hardware zu optimieren. Infolgedessen kann die effektive Anpassung dieser Modelle mit groß angelegten überwachten Daten eine Herausforderung darstellen. Als Alternative kann In-Context Learning (ICL) aufgrund von Kontextlängenbegrenzungen nur eine geringe Anzahl von überwachten Beispielen verwenden. In diesem Artikel schlagen wir Super In-Context Learning (SuperICL) vor, das es schwarzen Kästchen von LLMs ermöglicht, mit lokal feinabgestimmten kleineren Modellen zusammenzuarbeiten, was zu einer überlegenen Leistung bei überwachten Aufgaben führt. Unsere Experimente zeigen, dass SuperICL die Leistung über den Stand der Technik feinabgestimmter Modelle hinaus verbessern kann, während es gleichzeitig das Instabilitätsproblem von In-Context Learning angeht. Darüber hinaus kann SuperICL die Fähigkeiten kleinerer Modelle, wie Mehrsprachigkeit und Interpretierbarkeit, erweitern.

English

Large language models (LLMs) such as GPT-3 and GPT-4 are powerful but their weights are often publicly unavailable and their immense sizes make the models difficult to be tuned with common hardware. As a result, effectively tuning these models with large-scale supervised data can be challenging. As an alternative, In-Context Learning (ICL) can only use a small number of supervised examples due to context length limits. In this paper, we propose Super In-Context Learning (SuperICL) which allows black-box LLMs to work with locally fine-tuned smaller models, resulting in superior performance on supervised tasks. Our experiments demonstrate that SuperICL can improve performance beyond state-of-the-art fine-tuned models while addressing the instability problem of in-context learning. Furthermore, SuperICL can enhance the capabilities of smaller models, such as multilinguality and interpretability.