Blending ist alles, was Sie brauchen: Eine kostengünstigere, bessere Alternative zu trillionenparametrigen LLMs

Blending Is All You Need: Cheaper, Better Alternative to Trillion-Parameters LLM

January 4, 2024

Autoren: Xiaoding Lu, Adian Liusie, Vyas Raina, Yuwen Zhang, William Beauchamp

cs.AI

Zusammenfassung

In der Forschung zur konversationellen KI ist ein deutlicher Trend zur Entwicklung von Modellen mit einer größeren Anzahl von Parametern zu beobachten, wie beispielsweise Modelle wie ChatGPT. Obwohl diese umfangreichen Modelle tendenziell immer bessere Chat-Antworten generieren, erfordern sie erhebliche Rechenressourcen und Speicherkapazitäten. Diese Studie untersucht eine relevante Frage: Kann eine Kombination kleinerer Modelle gemeinsam eine vergleichbare oder verbesserte Leistung im Vergleich zu einem einzelnen großen Modell erzielen? Wir stellen einen Ansatz vor, der als „Blending“ bezeichnet wird – eine einfache, aber effektive Methode zur Integration mehrerer Chat-KIs. Unsere empirischen Ergebnisse deuten darauf hin, dass spezifische kleinere Modelle, wenn sie synergetisch kombiniert werden, die Fähigkeiten viel größerer Modelle potenziell übertreffen oder erreichen können. Beispielsweise kann die Integration von nur drei Modellen mittlerer Größe (6B/13B Parameter) die Leistungskennzahlen eines deutlich größeren Modells wie ChatGPT (175B+ Parameter) erreichen oder sogar übertreffen. Diese Hypothese wird mithilfe von A/B-Testmethoden mit einer großen Nutzerbasis auf der Chai-Forschungsplattform über einen Zeitraum von dreißig Tagen rigoros überprüft. Die Ergebnisse unterstreichen das Potenzial der „Blending“-Strategie als einen praktikablen Ansatz zur Steigerung der Effektivität von Chat-KIs ohne einen entsprechenden Anstieg der Rechenanforderungen.

English

In conversational AI research, there's a noticeable trend towards developing models with a larger number of parameters, exemplified by models like ChatGPT. While these expansive models tend to generate increasingly better chat responses, they demand significant computational resources and memory. This study explores a pertinent question: Can a combination of smaller models collaboratively achieve comparable or enhanced performance relative to a singular large model? We introduce an approach termed "blending", a straightforward yet effective method of integrating multiple chat AIs. Our empirical evidence suggests that when specific smaller models are synergistically blended, they can potentially outperform or match the capabilities of much larger counterparts. For instance, integrating just three models of moderate size (6B/13B paramaeters) can rival or even surpass the performance metrics of a substantially larger model like ChatGPT (175B+ paramaters). This hypothesis is rigorously tested using A/B testing methodologies with a large user base on the Chai research platform over a span of thirty days. The findings underscore the potential of the "blending" strategy as a viable approach for enhancing chat AI efficacy without a corresponding surge in computational demands.