AutoMix: Mezcla Automática de Modelos de Lenguaje

AutoMix: Automatically Mixing Language Models

October 19, 2023

Autores: Aman Madaan, Pranjal Aggarwal, Ankit Anand, Srividya Pranavi Potharaju, Swaroop Mishra, Pei Zhou, Aditya Gupta, Dheeraj Rajagopal, Karthik Kappaganthu, Yiming Yang, Shyam Upadhyay, Mausam, Manaal Faruqui

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) están ahora disponibles en diversos tamaños y configuraciones a través de proveedores de API en la nube. Si bien esta diversidad ofrece un amplio espectro de opciones, aprovechar eficazmente estas alternativas para optimizar el costo computacional y el rendimiento sigue siendo un desafío. En este trabajo, presentamos AutoMix, un enfoque que enruta estratégicamente las consultas a modelos de lenguaje más grandes, basándose en la corrección aproximada de las salidas generadas por un modelo más pequeño. El núcleo de AutoMix es un mecanismo de autoverificación few-shot, que estima la confiabilidad de sus propias salidas sin requerir entrenamiento. Dado que las verificaciones pueden ser ruidosas, empleamos un meta verificador en AutoMix para refinar la precisión de estas evaluaciones. Nuestros experimentos utilizando LLAMA2-13/70B, en cinco conjuntos de datos de razonamiento contextualizado, demuestran que AutoMix supera a los métodos de referencia establecidos, mejorando el beneficio incremental por costo hasta en un 89%. Nuestro código y datos están disponibles en https://github.com/automix-llm/automix.

English

Large language models (LLMs) are now available in various sizes and configurations from cloud API providers. While this diversity offers a broad spectrum of choices, effectively leveraging the options to optimize computational cost and performance remains challenging. In this work, we present AutoMix, an approach that strategically routes queries to larger LMs, based on the approximate correctness of outputs from a smaller LM. Central to AutoMix is a few-shot self-verification mechanism, which estimates the reliability of its own outputs without requiring training. Given that verifications can be noisy, we employ a meta verifier in AutoMix to refine the accuracy of these assessments. Our experiments using LLAMA2-13/70B, on five context-grounded reasoning datasets demonstrate that AutoMix surpasses established baselines, improving the incremental benefit per cost by up to 89%. Our code and data are available at https://github.com/automix-llm/automix.