Routage vers l'expert : Ensemble efficace guidé par la récompense de grands modèles de langage

Routing to the Expert: Efficient Reward-guided Ensemble of Large Language Models

November 15, 2023

Auteurs: Keming Lu, Hongyi Yuan, Runji Lin, Junyang Lin, Zheng Yuan, Chang Zhou, Jingren Zhou

cs.AI

Résumé

Le potentiel complémentaire des modèles de langage de grande taille (LLM) repose sur l'hypothèse que les LLM prêts à l'emploi possèdent une expertise hétérogène dans un large éventail de domaines et de tâches, permettant ainsi à un ensemble de LLM d'atteindre des performances systématiquement supérieures. Les méthodes d'ensemble existantes pour les LLM se concentrent principalement sur le classement des sorties par un modèle de récompense, ce qui entraîne une surcharge de calcul importante. Pour résoudre ce problème, nous revisitons le potentiel complémentaire des LLM et l'approfondissons en exploitant l'expertise latente à l'aide de modèles de récompense prêts à l'emploi. Nous proposons Zooter, une méthode de routage guidée par les récompenses qui distille les récompenses sur les requêtes d'entraînement pour former une fonction de routage, capable de distribuer précisément chaque requête au LLM possédant l'expertise correspondante. Nous intégrons également une amélioration des étiquettes basée sur des tags pour atténuer le bruit lié à l'incertitude lors de l'utilisation des récompenses comme supervision indirecte. Zooter démontre une efficacité de calcul lors de l'inférence, car il n'introduit qu'une surcharge de calcul mineure liée à la fonction de routage par rapport aux méthodes de classement par modèle de récompense. Nous évaluons Zooter sur une collection de benchmarks exhaustive comprenant 26 sous-ensembles couvrant différents domaines et tâches. Zooter surpasse en moyenne le meilleur modèle individuel et se classe premier sur 44 % des tâches, dépassant même plusieurs méthodes de classement par modèle de récompense.

English

The complementary potential of Large Language Models (LLM) assumes off-the-shelf LLMs have heterogeneous expertise in a wide range of domains and tasks so that an ensemble of LLMs can achieve consistently better performance. Existing ensemble methods for LLMs mainly focus on reward model ranking of outputs, leading to significant computation overhead. To combat this issue, we revisit the complementary potential of LLMs and further elaborate it by mining latent expertise with off-the-shelf reward models. We propose Zooter, a reward-guided routing method distilling rewards on training queries to train a routing function, which can precisely distribute each query to the LLM with expertise about it. We also integrate a tag-based label enhancement to mitigate noise from uncertainty when using rewards as silver supervision. Zooter shows computation efficiency in inference as it introduces only a minor computation overhead of a routing function compared with reward model ranking methods. We evaluate Zooter on a comprehensive benchmark collection with 26 subsets on different domains and tasks. Zooter outperforms the best single model on average and ranks first on 44% of tasks, even surpassing multiple reward model ranking methods.