COSMOS: Adattamento Prevedibile ed Economico dei Modelli Linguistici di Grande Dimensione

COSMOS: Predictable and Cost-Effective Adaptation of LLMs

April 30, 2025

Autori: Jiayu Wang, Aws Albarghouthi, Frederic Sala

cs.AI

Abstract

I grandi modelli linguistici (LLM) raggiungono prestazioni notevoli in numerosi compiti utilizzando una vasta gamma di strategie di adattamento. Tuttavia, selezionare in modo ottimale un modello e una strategia di adattamento in presenza di vincoli di risorse è complesso e spesso richiede un'estesa sperimentazione. Indaghiamo se sia possibile prevedere con precisione sia le prestazioni che i costi senza ricorrere a costosi esperimenti. Formalizziamo il problema della selezione delle strategie per i LLM e introduciamo COSMOS, un framework di previsione unificato che stima in modo efficiente i risultati dell'adattamento a costi minimi. Istanziamo e studiamo le capacità del nostro framework attraverso una coppia di potenti predittori: modelli proxy leggeri arricchiti con embedding per prevedere le prestazioni del fine-tuning, e leggi di scalabilità a basso campione per prevedere l'apprendimento in-context potenziato dal recupero di informazioni. Una valutazione estesa su otto benchmark rappresentativi dimostra che COSMOS raggiunge un'elevata accuratezza di previsione riducendo i costi computazionali del 92,72% in media, e fino al 98,71% in scenari ad alto consumo di risorse. I nostri risultati mostrano che la previsione efficiente dei risultati dell'adattamento non solo è fattibile, ma può ridurre sostanzialmente il sovraccarico computazionale del dispiegamento dei LLM mantenendo gli standard di prestazione.

English

Large language models (LLMs) achieve remarkable performance across numerous tasks by using a diverse array of adaptation strategies. However, optimally selecting a model and adaptation strategy under resource constraints is challenging and often requires extensive experimentation. We investigate whether it is possible to accurately predict both performance and cost without expensive trials. We formalize the strategy selection problem for LLMs and introduce COSMOS, a unified prediction framework that efficiently estimates adaptation outcomes at minimal cost. We instantiate and study the capability of our framework via a pair of powerful predictors: embedding-augmented lightweight proxy models to predict fine-tuning performance, and low-sample scaling laws to forecast retrieval-augmented in-context learning. Extensive evaluation across eight representative benchmarks demonstrates that COSMOS achieves high prediction accuracy while reducing computational costs by 92.72% on average, and up to 98.71% in resource-intensive scenarios. Our results show that efficient prediction of adaptation outcomes is not only feasible but can substantially reduce the computational overhead of LLM deployment while maintaining performance standards.