COSMOS: Adaptación Predecible y Rentable de Modelos de Lenguaje de Gran Escala

COSMOS: Predictable and Cost-Effective Adaptation of LLMs

April 30, 2025

Autores: Jiayu Wang, Aws Albarghouthi, Frederic Sala

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) logran un rendimiento notable en numerosas tareas mediante el uso de una amplia variedad de estrategias de adaptación. Sin embargo, seleccionar de manera óptima un modelo y una estrategia de adaptación bajo restricciones de recursos es un desafío y, a menudo, requiere una experimentación extensa. Investigamos si es posible predecir con precisión tanto el rendimiento como el costo sin necesidad de realizar pruebas costosas. Formalizamos el problema de selección de estrategias para LLMs e introducimos COSMOS, un marco de predicción unificado que estima eficientemente los resultados de adaptación con un costo mínimo. Instanciamos y estudiamos la capacidad de nuestro marco a través de un par de predictores potentes: modelos proxy livianos aumentados con embeddings para predecir el rendimiento del ajuste fino, y leyes de escalado con muestras reducidas para pronosticar el aprendizaje en contexto aumentado con recuperación. Una evaluación extensa en ocho puntos de referencia representativos demuestra que COSMOS logra una alta precisión en las predicciones mientras reduce los costos computacionales en un 92.72% en promedio, y hasta un 98.71% en escenarios intensivos en recursos. Nuestros resultados muestran que la predicción eficiente de los resultados de adaptación no solo es factible, sino que puede reducir sustancialmente la sobrecarga computacional del despliegue de LLMs mientras se mantienen los estándares de rendimiento.

English

Large language models (LLMs) achieve remarkable performance across numerous tasks by using a diverse array of adaptation strategies. However, optimally selecting a model and adaptation strategy under resource constraints is challenging and often requires extensive experimentation. We investigate whether it is possible to accurately predict both performance and cost without expensive trials. We formalize the strategy selection problem for LLMs and introduce COSMOS, a unified prediction framework that efficiently estimates adaptation outcomes at minimal cost. We instantiate and study the capability of our framework via a pair of powerful predictors: embedding-augmented lightweight proxy models to predict fine-tuning performance, and low-sample scaling laws to forecast retrieval-augmented in-context learning. Extensive evaluation across eight representative benchmarks demonstrates that COSMOS achieves high prediction accuracy while reducing computational costs by 92.72% on average, and up to 98.71% in resource-intensive scenarios. Our results show that efficient prediction of adaptation outcomes is not only feasible but can substantially reduce the computational overhead of LLM deployment while maintaining performance standards.