AutoMix: Modelli Linguistici a Miscelazione Automatica

AutoMix: Automatically Mixing Language Models

October 19, 2023

Autori: Aman Madaan, Pranjal Aggarwal, Ankit Anand, Srividya Pranavi Potharaju, Swaroop Mishra, Pei Zhou, Aditya Gupta, Dheeraj Rajagopal, Karthik Kappaganthu, Yiming Yang, Shyam Upadhyay, Mausam, Manaal Faruqui

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) sono ora disponibili in varie dimensioni e configurazioni da parte dei fornitori di API cloud. Sebbene questa diversità offra un ampio spettro di scelte, sfruttare efficacemente le opzioni per ottimizzare i costi computazionali e le prestazioni rimane una sfida. In questo lavoro, presentiamo AutoMix, un approccio che instrada strategicamente le query verso LLM più grandi, basandosi sulla correttezza approssimativa degli output di un LLM più piccolo. Elemento centrale di AutoMix è un meccanismo di auto-verifica few-shot, che stima l'affidabilità dei propri output senza richiedere addestramento. Dato che le verifiche possono essere rumorose, utilizziamo un meta-verificatore in AutoMix per affinare l'accuratezza di queste valutazioni. I nostri esperimenti utilizzando LLAMA2-13/70B, su cinque dataset di ragionamento contestualizzato, dimostrano che AutoMix supera i benchmark stabiliti, migliorando il beneficio incrementale per costo fino all'89%. Il nostro codice e i dati sono disponibili all'indirizzo https://github.com/automix-llm/automix.

English

Large language models (LLMs) are now available in various sizes and configurations from cloud API providers. While this diversity offers a broad spectrum of choices, effectively leveraging the options to optimize computational cost and performance remains challenging. In this work, we present AutoMix, an approach that strategically routes queries to larger LMs, based on the approximate correctness of outputs from a smaller LM. Central to AutoMix is a few-shot self-verification mechanism, which estimates the reliability of its own outputs without requiring training. Given that verifications can be noisy, we employ a meta verifier in AutoMix to refine the accuracy of these assessments. Our experiments using LLAMA2-13/70B, on five context-grounded reasoning datasets demonstrate that AutoMix surpasses established baselines, improving the incremental benefit per cost by up to 89%. Our code and data are available at https://github.com/automix-llm/automix.