Routing zum Experten: Effiziente belohnungsgesteuerte Ensemblebildung großer Sprachmodelle

Routing to the Expert: Efficient Reward-guided Ensemble of Large Language Models

November 15, 2023

Autoren: Keming Lu, Hongyi Yuan, Runji Lin, Junyang Lin, Zheng Yuan, Chang Zhou, Jingren Zhou

cs.AI

Zusammenfassung

Das komplementäre Potenzial von Large Language Models (LLMs) geht davon aus, dass Standard-LLMs heterogene Expertise in einer Vielzahl von Domänen und Aufgaben besitzen, sodass ein Ensemble von LLMs durchgängig bessere Leistungen erzielen kann. Bestehende Ensemble-Methoden für LLMs konzentrieren sich hauptsächlich auf das Ranking von Ausgaben durch Reward-Modelle, was zu erheblichem Rechenaufwand führt. Um dieses Problem zu bekämpfen, untersuchen wir erneut das komplementäre Potenzial von LLMs und erweitern es durch die Nutzung latenter Expertise mit Standard-Reward-Modellen. Wir schlagen Zooter vor, eine Reward-gesteuerte Routing-Methode, die Belohnungen auf Trainingsanfragen destilliert, um eine Routing-Funktion zu trainieren, die jede Anfrage präzise an den LLM mit der entsprechenden Expertise weiterleitet. Zusätzlich integrieren wir eine tag-basierte Label-Verbesserung, um Rauschen durch Unsicherheit bei der Verwendung von Belohnungen als silberne Supervision zu mildern. Zooter zeigt Recheneffizienz in der Inferenz, da es im Vergleich zu Reward-Modell-Ranking-Methoden nur einen geringen zusätzlichen Rechenaufwand durch die Routing-Funktion einführt. Wir evaluieren Zooter auf einer umfassenden Benchmark-Sammlung mit 26 Teilmengen aus verschiedenen Domänen und Aufgaben. Zooter übertrifft im Durchschnitt das beste Einzelmodell und belegt auf 44 % der Aufgaben den ersten Platz, wobei es sogar mehrere Reward-Modell-Ranking-Methoden übertrifft.

English

The complementary potential of Large Language Models (LLM) assumes off-the-shelf LLMs have heterogeneous expertise in a wide range of domains and tasks so that an ensemble of LLMs can achieve consistently better performance. Existing ensemble methods for LLMs mainly focus on reward model ranking of outputs, leading to significant computation overhead. To combat this issue, we revisit the complementary potential of LLMs and further elaborate it by mining latent expertise with off-the-shelf reward models. We propose Zooter, a reward-guided routing method distilling rewards on training queries to train a routing function, which can precisely distribute each query to the LLM with expertise about it. We also integrate a tag-based label enhancement to mitigate noise from uncertainty when using rewards as silver supervision. Zooter shows computation efficiency in inference as it introduces only a minor computation overhead of a routing function compared with reward model ranking methods. We evaluate Zooter on a comprehensive benchmark collection with 26 subsets on different domains and tasks. Zooter outperforms the best single model on average and ranks first on 44% of tasks, even surpassing multiple reward model ranking methods.