AutoMix: 언어 모델 자동 혼합 기술

초록

대규모 언어 모델(LLM)은 이제 다양한 크기와 구성으로 클라우드 API 제공업체를 통해 이용 가능합니다. 이러한 다양성은 폭넓은 선택지를 제공하지만, 컴퓨팅 비용과 성능을 최적화하기 위해 이러한 옵션을 효과적으로 활용하는 것은 여전히 어려운 과제입니다. 본 연구에서는 더 작은 LM의 출력 결과의 근사 정확도를 기반으로 쿼리를 더 큰 LM으로 전략적으로 라우팅하는 AutoMix 접근 방식을 제시합니다. AutoMix의 핵심은 훈련 없이도 자체 출력의 신뢰도를 추정하는 소수 샷 자체 검증 메커니즘입니다. 검증 과정이 노이즈를 포함할 수 있기 때문에, AutoMix에서는 메타 검증기를 사용하여 이러한 평가의 정확도를 개선합니다. LLAMA2-13/70B를 사용한 다섯 가지 맥락 기반 추론 데이터셋에 대한 실험 결과, AutoMix는 기존의 기준선을 능가하며 비용 대비 증분 이익을 최대 89%까지 향상시켰습니다. 저희의 코드와 데이터는 https://github.com/automix-llm/automix에서 확인할 수 있습니다.

English

Large language models (LLMs) are now available in various sizes and configurations from cloud API providers. While this diversity offers a broad spectrum of choices, effectively leveraging the options to optimize computational cost and performance remains challenging. In this work, we present AutoMix, an approach that strategically routes queries to larger LMs, based on the approximate correctness of outputs from a smaller LM. Central to AutoMix is a few-shot self-verification mechanism, which estimates the reliability of its own outputs without requiring training. Given that verifications can be noisy, we employ a meta verifier in AutoMix to refine the accuracy of these assessments. Our experiments using LLAMA2-13/70B, on five context-grounded reasoning datasets demonstrate that AutoMix surpasses established baselines, improving the incremental benefit per cost by up to 89%. Our code and data are available at https://github.com/automix-llm/automix.

AutoMix: 언어 모델 자동 혼합 기술

AutoMix: Automatically Mixing Language Models

초록

Support