Roteamento para o Especialista: Conjunto Eficiente Orientado por Recompensa de Modelos de Linguagem de Grande Escala

Routing to the Expert: Efficient Reward-guided Ensemble of Large Language Models

November 15, 2023

Autores: Keming Lu, Hongyi Yuan, Runji Lin, Junyang Lin, Zheng Yuan, Chang Zhou, Jingren Zhou

cs.AI

Resumo

O potencial complementar dos Modelos de Linguagem de Grande Escala (LLM) assume que LLMs prontos para uso possuem expertise heterogênea em uma ampla gama de domínios e tarefas, de modo que um conjunto de LLMs pode alcançar desempenho consistentemente melhor. Os métodos de ensemble existentes para LLMs focam principalmente na classificação de saídas por modelos de recompensa, resultando em um custo computacional significativo. Para combater esse problema, revisitamos o potencial complementar dos LLMs e o elaboramos ainda mais, explorando expertise latente com modelos de recompensa prontos para uso. Propomos o Zooter, um método de roteamento guiado por recompensa que destila recompensas em consultas de treinamento para treinar uma função de roteamento, que pode distribuir precisamente cada consulta para o LLM com expertise sobre ela. Também integramos uma melhoria de rótulos baseada em tags para mitigar o ruído da incerteza ao usar recompensas como supervisão prateada. O Zooter demonstra eficiência computacional na inferência, pois introduz apenas um pequeno custo computacional adicional de uma função de roteamento em comparação com métodos de classificação por modelos de recompensa. Avaliamos o Zooter em uma coleção abrangente de benchmarks com 26 subconjuntos em diferentes domínios e tarefas. O Zooter supera o melhor modelo único em média e ocupa o primeiro lugar em 44% das tarefas, superando até mesmo múltiplos métodos de classificação por modelos de recompensa.

English

The complementary potential of Large Language Models (LLM) assumes off-the-shelf LLMs have heterogeneous expertise in a wide range of domains and tasks so that an ensemble of LLMs can achieve consistently better performance. Existing ensemble methods for LLMs mainly focus on reward model ranking of outputs, leading to significant computation overhead. To combat this issue, we revisit the complementary potential of LLMs and further elaborate it by mining latent expertise with off-the-shelf reward models. We propose Zooter, a reward-guided routing method distilling rewards on training queries to train a routing function, which can precisely distribute each query to the LLM with expertise about it. We also integrate a tag-based label enhancement to mitigate noise from uncertainty when using rewards as silver supervision. Zooter shows computation efficiency in inference as it introduces only a minor computation overhead of a routing function compared with reward model ranking methods. We evaluate Zooter on a comprehensive benchmark collection with 26 subsets on different domains and tasks. Zooter outperforms the best single model on average and ranks first on 44% of tasks, even surpassing multiple reward model ranking methods.