AutoMix: Автоматическое смешивание языковых моделей

AutoMix: Automatically Mixing Language Models

October 19, 2023

Авторы: Aman Madaan, Pranjal Aggarwal, Ankit Anand, Srividya Pranavi Potharaju, Swaroop Mishra, Pei Zhou, Aditya Gupta, Dheeraj Rajagopal, Karthik Kappaganthu, Yiming Yang, Shyam Upadhyay, Mausam, Manaal Faruqui

cs.AI

Аннотация

Крупные языковые модели (LLMs) теперь доступны в различных размерах и конфигурациях от провайдеров облачных API. Хотя это разнообразие предлагает широкий спектр выбора, эффективное использование этих опций для оптимизации вычислительных затрат и производительности остается сложной задачей. В данной работе мы представляем AutoMix — подход, который стратегически направляет запросы к более крупным LLM на основе приблизительной корректности выходных данных от меньшей модели. Ключевым элементом AutoMix является механизм самопроверки с использованием нескольких примеров, который оценивает надежность собственных выходных данных без необходимости обучения. Учитывая, что проверки могут быть неточными, мы используем мета-верификатор в AutoMix для повышения точности этих оценок. Наши эксперименты с использованием LLAMA2-13/70B на пяти наборах данных для контекстно-обоснованных рассуждений демонстрируют, что AutoMix превосходит установленные базовые методы, улучшая прирост пользы на единицу затрат до 89%. Наш код и данные доступны по адресу https://github.com/automix-llm/automix.

English

Large language models (LLMs) are now available in various sizes and configurations from cloud API providers. While this diversity offers a broad spectrum of choices, effectively leveraging the options to optimize computational cost and performance remains challenging. In this work, we present AutoMix, an approach that strategically routes queries to larger LMs, based on the approximate correctness of outputs from a smaller LM. Central to AutoMix is a few-shot self-verification mechanism, which estimates the reliability of its own outputs without requiring training. Given that verifications can be noisy, we employ a meta verifier in AutoMix to refine the accuracy of these assessments. Our experiments using LLAMA2-13/70B, on five context-grounded reasoning datasets demonstrate that AutoMix surpasses established baselines, improving the incremental benefit per cost by up to 89%. Our code and data are available at https://github.com/automix-llm/automix.