Routeren naar de Expert: Efficiënte Beloningsgestuurde Ensemble van Grote Taalmodellen

Routing to the Expert: Efficient Reward-guided Ensemble of Large Language Models

November 15, 2023

Auteurs: Keming Lu, Hongyi Yuan, Runji Lin, Junyang Lin, Zheng Yuan, Chang Zhou, Jingren Zhou

cs.AI

Samenvatting

Het complementaire potentieel van Large Language Models (LLM) veronderstelt dat kant-en-klare LLM's heterogene expertise hebben in een breed scala aan domeinen en taken, zodat een ensemble van LLM's consistent betere prestaties kan bereiken. Bestaande ensemblemethoden voor LLM's richten zich voornamelijk op het rangschikken van uitvoer met behulp van beloningsmodellen, wat leidt tot aanzienlijke rekenoverhead. Om dit probleem aan te pakken, herzien we het complementaire potentieel van LLM's en werken dit verder uit door latente expertise te ontginnen met kant-en-klare beloningsmodellen. We stellen Zooter voor, een beloningsgeleide routeringsmethode die beloningen op trainingsquery's destilleert om een routeringsfunctie te trainen, die elke query precies kan verdelen naar de LLM met expertise over dat onderwerp. We integreren ook een op tags gebaseerde labelverbetering om ruis te verminderen die ontstaat door onzekerheid bij het gebruik van beloningen als zilveren supervisie. Zooter toont rekenkundige efficiëntie tijdens inferentie, omdat het slechts een kleine rekenoverhead introduceert van een routeringsfunctie in vergelijking met methoden voor het rangschikken van beloningsmodellen. We evalueren Zooter op een uitgebreide benchmarkcollectie met 26 subsets over verschillende domeinen en taken. Zooter overtreft gemiddeld het beste enkele model en staat op de eerste plaats bij 44% van de taken, waarbij het zelfs meerdere beloningsmodelrangschikkingsmethoden overstijgt.

English

The complementary potential of Large Language Models (LLM) assumes off-the-shelf LLMs have heterogeneous expertise in a wide range of domains and tasks so that an ensemble of LLMs can achieve consistently better performance. Existing ensemble methods for LLMs mainly focus on reward model ranking of outputs, leading to significant computation overhead. To combat this issue, we revisit the complementary potential of LLMs and further elaborate it by mining latent expertise with off-the-shelf reward models. We propose Zooter, a reward-guided routing method distilling rewards on training queries to train a routing function, which can precisely distribute each query to the LLM with expertise about it. We also integrate a tag-based label enhancement to mitigate noise from uncertainty when using rewards as silver supervision. Zooter shows computation efficiency in inference as it introduces only a minor computation overhead of a routing function compared with reward model ranking methods. We evaluate Zooter on a comprehensive benchmark collection with 26 subsets on different domains and tasks. Zooter outperforms the best single model on average and ranks first on 44% of tasks, even surpassing multiple reward model ranking methods.