Routing verso l'Esperto: Un Efficiente Ensemble Guidato dalla Ricompensa di Modelli Linguistici di Grandi Dimensioni

Routing to the Expert: Efficient Reward-guided Ensemble of Large Language Models

November 15, 2023

Autori: Keming Lu, Hongyi Yuan, Runji Lin, Junyang Lin, Zheng Yuan, Chang Zhou, Jingren Zhou

cs.AI

Abstract

Il potenziale complementare dei Large Language Models (LLM) presuppone che i modelli LLM preesistenti abbiano competenze eterogenee in un'ampia gamma di domini e task, in modo che un insieme di LLM possa ottenere prestazioni costantemente migliori. I metodi di ensemble esistenti per i LLM si concentrano principalmente sul ranking degli output tramite modelli di reward, portando a un significativo sovraccarico computazionale. Per affrontare questo problema, esploriamo nuovamente il potenziale complementare dei LLM e lo elaboriamo ulteriormente estraendo competenze latenti utilizzando modelli di reward preesistenti. Proponiamo Zooter, un metodo di routing guidato dai reward che distilla i reward sulle query di addestramento per allenare una funzione di routing, in grado di distribuire con precisione ogni query al LLM con competenze specifiche su di essa. Integriamo inoltre un potenziamento delle etichette basato su tag per mitigare il rumore derivante dall'incertezza quando si utilizzano i reward come supervisione silver. Zooter dimostra efficienza computazionale durante l'inferenza, poiché introduce solo un lieve sovraccarico computazionale dovuto alla funzione di routing rispetto ai metodi di ranking basati sui modelli di reward. Valutiamo Zooter su una raccolta completa di benchmark con 26 sottoinsiemi relativi a diversi domini e task. Zooter supera in media il miglior modello singolo e si classifica al primo posto nel 44% dei task, superando persino diversi metodi di ranking basati sui modelli di reward.

English

The complementary potential of Large Language Models (LLM) assumes off-the-shelf LLMs have heterogeneous expertise in a wide range of domains and tasks so that an ensemble of LLMs can achieve consistently better performance. Existing ensemble methods for LLMs mainly focus on reward model ranking of outputs, leading to significant computation overhead. To combat this issue, we revisit the complementary potential of LLMs and further elaborate it by mining latent expertise with off-the-shelf reward models. We propose Zooter, a reward-guided routing method distilling rewards on training queries to train a routing function, which can precisely distribute each query to the LLM with expertise about it. We also integrate a tag-based label enhancement to mitigate noise from uncertainty when using rewards as silver supervision. Zooter shows computation efficiency in inference as it introduces only a minor computation overhead of a routing function compared with reward model ranking methods. We evaluate Zooter on a comprehensive benchmark collection with 26 subsets on different domains and tasks. Zooter outperforms the best single model on average and ranks first on 44% of tasks, even surpassing multiple reward model ranking methods.