AutoMix : Mélange automatique de modèles de langage

AutoMix: Automatically Mixing Language Models

October 19, 2023

Auteurs: Aman Madaan, Pranjal Aggarwal, Ankit Anand, Srividya Pranavi Potharaju, Swaroop Mishra, Pei Zhou, Aditya Gupta, Dheeraj Rajagopal, Karthik Kappaganthu, Yiming Yang, Shyam Upadhyay, Mausam, Manaal Faruqui

cs.AI

Résumé

Les grands modèles de langage (LLMs) sont désormais disponibles en différentes tailles et configurations auprès des fournisseurs d'API cloud. Bien que cette diversité offre un large éventail de choix, exploiter efficacement ces options pour optimiser les coûts de calcul et les performances reste un défi. Dans ce travail, nous présentons AutoMix, une approche qui achemine stratégiquement les requêtes vers des LLMs plus volumineux, en se basant sur la justesse approximative des sorties d'un LLM plus petit. Au cœur d'AutoMix se trouve un mécanisme d'auto-vérification en few-shot, qui estime la fiabilité de ses propres sorties sans nécessiter d'entraînement. Étant donné que les vérifications peuvent être bruitées, nous utilisons un méta-vérificateur dans AutoMix pour affiner la précision de ces évaluations. Nos expériences utilisant LLAMA2-13/70B, sur cinq ensembles de données de raisonnement contextuel, démontrent qu'AutoMix surpasse les bases de référence établies, améliorant l'avantage incrémental par coût jusqu'à 89 %. Notre code et nos données sont disponibles à l'adresse https://github.com/automix-llm/automix.

English

Large language models (LLMs) are now available in various sizes and configurations from cloud API providers. While this diversity offers a broad spectrum of choices, effectively leveraging the options to optimize computational cost and performance remains challenging. In this work, we present AutoMix, an approach that strategically routes queries to larger LMs, based on the approximate correctness of outputs from a smaller LM. Central to AutoMix is a few-shot self-verification mechanism, which estimates the reliability of its own outputs without requiring training. Given that verifications can be noisy, we employ a meta verifier in AutoMix to refine the accuracy of these assessments. Our experiments using LLAMA2-13/70B, on five context-grounded reasoning datasets demonstrate that AutoMix surpasses established baselines, improving the incremental benefit per cost by up to 89%. Our code and data are available at https://github.com/automix-llm/automix.