Le Mélange est Tout Ce Dont Vous Avez Besoin : Une Alternative Plus Économique et Plus Performante aux Modèles de Langage à Trillions de Paramètres

Blending Is All You Need: Cheaper, Better Alternative to Trillion-Parameters LLM

January 4, 2024

Auteurs: Xiaoding Lu, Adian Liusie, Vyas Raina, Yuwen Zhang, William Beauchamp

cs.AI

Résumé

Dans la recherche sur l'IA conversationnelle, on observe une tendance marquée vers le développement de modèles dotés d'un nombre croissant de paramètres, comme en témoignent des modèles tels que ChatGPT. Bien que ces modèles étendus tendent à générer des réponses de chat de plus en plus performantes, ils nécessitent des ressources computationnelles et une mémoire considérables. Cette étude explore une question pertinente : Une combinaison de modèles plus petits peut-elle collaborativement atteindre des performances comparables ou supérieures à celles d'un unique grand modèle ? Nous introduisons une approche appelée "blending", une méthode simple mais efficace pour intégrer plusieurs IA de chat. Nos preuves empiriques suggèrent que lorsque des modèles plus petits spécifiques sont combinés de manière synergique, ils peuvent potentiellement surpasser ou égaler les capacités de modèles beaucoup plus grands. Par exemple, l'intégration de seulement trois modèles de taille modérée (6B/13B paramètres) peut rivaliser ou même dépasser les indicateurs de performance d'un modèle nettement plus grand comme ChatGPT (175B+ paramètres). Cette hypothèse est rigoureusement testée à l'aide de méthodologies de test A/B avec une large base d'utilisateurs sur la plateforme de recherche Chai sur une période de trente jours. Les résultats soulignent le potentiel de la stratégie de "blending" comme une approche viable pour améliorer l'efficacité des IA de chat sans augmentation correspondante des demandes computationnelles.

English

In conversational AI research, there's a noticeable trend towards developing models with a larger number of parameters, exemplified by models like ChatGPT. While these expansive models tend to generate increasingly better chat responses, they demand significant computational resources and memory. This study explores a pertinent question: Can a combination of smaller models collaboratively achieve comparable or enhanced performance relative to a singular large model? We introduce an approach termed "blending", a straightforward yet effective method of integrating multiple chat AIs. Our empirical evidence suggests that when specific smaller models are synergistically blended, they can potentially outperform or match the capabilities of much larger counterparts. For instance, integrating just three models of moderate size (6B/13B paramaeters) can rival or even surpass the performance metrics of a substantially larger model like ChatGPT (175B+ paramaters). This hypothesis is rigorously tested using A/B testing methodologies with a large user base on the Chai research platform over a span of thirty days. The findings underscore the potential of the "blending" strategy as a viable approach for enhancing chat AI efficacy without a corresponding surge in computational demands.