COSMOS : Adaptation prévisible et rentable des modèles de langage de grande taille

COSMOS: Predictable and Cost-Effective Adaptation of LLMs

April 30, 2025

Auteurs: Jiayu Wang, Aws Albarghouthi, Frederic Sala

cs.AI

Résumé

Les grands modèles de langage (LLM) atteignent des performances remarquables sur de nombreuses tâches en utilisant une diversité de stratégies d'adaptation. Cependant, sélectionner de manière optimale un modèle et une stratégie d'adaptation sous contraintes de ressources est un défi qui nécessite souvent une expérimentation extensive. Nous étudions s'il est possible de prédire avec précision à la fois les performances et les coûts sans recourir à des essais coûteux. Nous formalisons le problème de sélection de stratégie pour les LLM et introduisons COSMOS, un cadre de prédiction unifié qui estime efficacement les résultats d'adaptation à un coût minimal. Nous instancions et étudions les capacités de notre cadre via une paire de prédicteurs puissants : des modèles proxy légers augmentés par des embeddings pour prédire les performances de fine-tuning, et des lois d'échantillonnage à faible échantillon pour prévoir l'apprentissage en contexte augmenté par récupération. Une évaluation approfondie sur huit benchmarks représentatifs démontre que COSMOS atteint une grande précision de prédiction tout en réduisant les coûts de calcul de 92,72 % en moyenne, et jusqu'à 98,71 % dans des scénarios intensifs en ressources. Nos résultats montrent que la prédiction efficace des résultats d'adaptation est non seulement réalisable, mais peut substantiellement réduire la surcharge computationnelle du déploiement des LLM tout en maintenant les standards de performance.

English

Large language models (LLMs) achieve remarkable performance across numerous tasks by using a diverse array of adaptation strategies. However, optimally selecting a model and adaptation strategy under resource constraints is challenging and often requires extensive experimentation. We investigate whether it is possible to accurately predict both performance and cost without expensive trials. We formalize the strategy selection problem for LLMs and introduce COSMOS, a unified prediction framework that efficiently estimates adaptation outcomes at minimal cost. We instantiate and study the capability of our framework via a pair of powerful predictors: embedding-augmented lightweight proxy models to predict fine-tuning performance, and low-sample scaling laws to forecast retrieval-augmented in-context learning. Extensive evaluation across eight representative benchmarks demonstrates that COSMOS achieves high prediction accuracy while reducing computational costs by 92.72% on average, and up to 98.71% in resource-intensive scenarios. Our results show that efficient prediction of adaptation outcomes is not only feasible but can substantially reduce the computational overhead of LLM deployment while maintaining performance standards.