COSMOS: Предсказуемая и экономически эффективная адаптация крупных языковых моделей

COSMOS: Predictable and Cost-Effective Adaptation of LLMs

April 30, 2025

Авторы: Jiayu Wang, Aws Albarghouthi, Frederic Sala

cs.AI

Аннотация

Крупные языковые модели (LLM) демонстрируют выдающуюся производительность в решении множества задач благодаря использованию разнообразных стратегий адаптации. Однако оптимальный выбор модели и стратегии адаптации при ограниченных ресурсах является сложной задачей и часто требует проведения масштабных экспериментов. Мы исследуем возможность точного прогнозирования как производительности, так и затрат без проведения дорогостоящих испытаний. Мы формализуем проблему выбора стратегии для LLM и представляем COSMOS — унифицированную прогностическую платформу, которая эффективно оценивает результаты адаптации с минимальными затратами. Мы реализуем и изучаем возможности нашей платформы с помощью двух мощных предикторов: облегченных прокси-моделей, дополненных эмбеддингами, для прогнозирования производительности тонкой настройки, и законов масштабирования на основе малых выборок для прогнозирования обучения с извлечением в контексте. Обширная оценка на восьми репрезентативных бенчмарках показывает, что COSMOS достигает высокой точности прогнозирования, одновременно снижая вычислительные затраты в среднем на 92,72%, а в ресурсоемких сценариях — до 98,71%. Наши результаты демонстрируют, что эффективное прогнозирование результатов адаптации не только возможно, но и может существенно снизить вычислительные издержки при развертывании LLM, сохраняя при этом стандарты производительности.

English

Large language models (LLMs) achieve remarkable performance across numerous tasks by using a diverse array of adaptation strategies. However, optimally selecting a model and adaptation strategy under resource constraints is challenging and often requires extensive experimentation. We investigate whether it is possible to accurately predict both performance and cost without expensive trials. We formalize the strategy selection problem for LLMs and introduce COSMOS, a unified prediction framework that efficiently estimates adaptation outcomes at minimal cost. We instantiate and study the capability of our framework via a pair of powerful predictors: embedding-augmented lightweight proxy models to predict fine-tuning performance, and low-sample scaling laws to forecast retrieval-augmented in-context learning. Extensive evaluation across eight representative benchmarks demonstrates that COSMOS achieves high prediction accuracy while reducing computational costs by 92.72% on average, and up to 98.71% in resource-intensive scenarios. Our results show that efficient prediction of adaptation outcomes is not only feasible but can substantially reduce the computational overhead of LLM deployment while maintaining performance standards.