AutoMix: Automatisches Mischen von Sprachmodellen

AutoMix: Automatically Mixing Language Models

October 19, 2023

Autoren: Aman Madaan, Pranjal Aggarwal, Ankit Anand, Srividya Pranavi Potharaju, Swaroop Mishra, Pei Zhou, Aditya Gupta, Dheeraj Rajagopal, Karthik Kappaganthu, Yiming Yang, Shyam Upadhyay, Mausam, Manaal Faruqui

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) sind mittlerweile in verschiedenen Größen und Konfigurationen von Cloud-API-Anbietern verfügbar. Während diese Vielfalt eine breite Palette an Auswahlmöglichkeiten bietet, bleibt die effektive Nutzung dieser Optionen zur Optimierung von Rechenkosten und Leistung eine Herausforderung. In dieser Arbeit präsentieren wir AutoMix, einen Ansatz, der Anfragen strategisch an größere Sprachmodelle weiterleitet, basierend auf der ungefähren Korrektheit der Ausgaben eines kleineren Modells. Kern von AutoMix ist ein Few-Shot-Selbstverifizierungsmechanismus, der die Zuverlässigkeit der eigenen Ausgaben schätzt, ohne dass ein Training erforderlich ist. Da Verifizierungen fehleranfällig sein können, setzen wir in AutoMix einen Meta-Verifizierer ein, um die Genauigkeit dieser Bewertungen zu verbessern. Unsere Experimente mit LLAMA2-13/70B auf fünf kontextbasierten Reasoning-Datensätzen zeigen, dass AutoMix etablierte Baselines übertrifft und den inkrementellen Nutzen pro Kosten um bis zu 89 % steigert. Unser Code und unsere Daten sind unter https://github.com/automix-llm/automix verfügbar.

English

Large language models (LLMs) are now available in various sizes and configurations from cloud API providers. While this diversity offers a broad spectrum of choices, effectively leveraging the options to optimize computational cost and performance remains challenging. In this work, we present AutoMix, an approach that strategically routes queries to larger LMs, based on the approximate correctness of outputs from a smaller LM. Central to AutoMix is a few-shot self-verification mechanism, which estimates the reliability of its own outputs without requiring training. Given that verifications can be noisy, we employ a meta verifier in AutoMix to refine the accuracy of these assessments. Our experiments using LLAMA2-13/70B, on five context-grounded reasoning datasets demonstrate that AutoMix surpasses established baselines, improving the incremental benefit per cost by up to 89%. Our code and data are available at https://github.com/automix-llm/automix.