AutoMix: Mistura Automática de Modelos de Linguagem

AutoMix: Automatically Mixing Language Models

October 19, 2023

Autores: Aman Madaan, Pranjal Aggarwal, Ankit Anand, Srividya Pranavi Potharaju, Swaroop Mishra, Pei Zhou, Aditya Gupta, Dheeraj Rajagopal, Karthik Kappaganthu, Yiming Yang, Shyam Upadhyay, Mausam, Manaal Faruqui

cs.AI

Resumo

Modelos de linguagem de grande escala (LLMs) estão agora disponíveis em vários tamanhos e configurações por meio de provedores de API na nuvem. Embora essa diversidade ofereça um amplo espectro de escolhas, aproveitar efetivamente as opções para otimizar o custo computacional e o desempenho continua sendo um desafio. Neste trabalho, apresentamos o AutoMix, uma abordagem que roteia estrategicamente consultas para LLMs maiores, com base na correção aproximada das saídas de um LLM menor. Central ao AutoMix é um mecanismo de autoverificação few-shot, que estima a confiabilidade de suas próprias saídas sem exigir treinamento. Dado que as verificações podem ser ruidosas, empregamos um metaverificador no AutoMix para refinar a precisão dessas avaliações. Nossos experimentos utilizando LLAMA2-13/70B, em cinco conjuntos de dados de raciocínio contextualizado, demonstram que o AutoMix supera as linhas de base estabelecidas, melhorando o benefício incremental por custo em até 89%. Nosso código e dados estão disponíveis em https://github.com/automix-llm/automix.

English

Large language models (LLMs) are now available in various sizes and configurations from cloud API providers. While this diversity offers a broad spectrum of choices, effectively leveraging the options to optimize computational cost and performance remains challenging. In this work, we present AutoMix, an approach that strategically routes queries to larger LMs, based on the approximate correctness of outputs from a smaller LM. Central to AutoMix is a few-shot self-verification mechanism, which estimates the reliability of its own outputs without requiring training. Given that verifications can be noisy, we employ a meta verifier in AutoMix to refine the accuracy of these assessments. Our experiments using LLAMA2-13/70B, on five context-grounded reasoning datasets demonstrate that AutoMix surpasses established baselines, improving the incremental benefit per cost by up to 89%. Our code and data are available at https://github.com/automix-llm/automix.