AutoMix: Automatisch Mixen van Taalmodellen

AutoMix: Automatically Mixing Language Models

October 19, 2023

Auteurs: Aman Madaan, Pranjal Aggarwal, Ankit Anand, Srividya Pranavi Potharaju, Swaroop Mishra, Pei Zhou, Aditya Gupta, Dheeraj Rajagopal, Karthik Kappaganthu, Yiming Yang, Shyam Upadhyay, Mausam, Manaal Faruqui

cs.AI

Samenvatting

Grote taalmodellen (LLM's) zijn nu beschikbaar in verschillende formaten en configuraties via cloud-API-aanbieders. Hoewel deze diversiteit een breed scala aan keuzes biedt, blijft het effectief benutten van deze opties om rekencapaciteit en prestaties te optimaliseren een uitdaging. In dit werk presenteren we AutoMix, een aanpak die queries strategisch doorstuurt naar grotere LLM's, gebaseerd op de geschatte juistheid van de uitvoer van een kleiner LLM. Centraal in AutoMix staat een few-shot zelfverificatiemechanisme, dat de betrouwbaarheid van zijn eigen uitvoer schat zonder training te vereisen. Gezien het feit dat verificaties onnauwkeurig kunnen zijn, gebruiken we in AutoMix een meta-verifier om de nauwkeurigheid van deze beoordelingen te verfijnen. Onze experimenten met LLAMA2-13/70B op vijf contextgebonden redeneerdatasets tonen aan dat AutoMix gevestigde basislijnen overtreft, waarbij het incrementele voordeel per kosten met maximaal 89% wordt verbeterd. Onze code en data zijn beschikbaar op https://github.com/automix-llm/automix.

English

Large language models (LLMs) are now available in various sizes and configurations from cloud API providers. While this diversity offers a broad spectrum of choices, effectively leveraging the options to optimize computational cost and performance remains challenging. In this work, we present AutoMix, an approach that strategically routes queries to larger LMs, based on the approximate correctness of outputs from a smaller LM. Central to AutoMix is a few-shot self-verification mechanism, which estimates the reliability of its own outputs without requiring training. Given that verifications can be noisy, we employ a meta verifier in AutoMix to refine the accuracy of these assessments. Our experiments using LLAMA2-13/70B, on five context-grounded reasoning datasets demonstrate that AutoMix surpasses established baselines, improving the incremental benefit per cost by up to 89%. Our code and data are available at https://github.com/automix-llm/automix.