Эффективное обслуживание программ логического вывода LLM с помощью Certaindex.

Efficiently Serving LLM Reasoning Programs with Certaindex

December 30, 2024

Авторы: Yichao Fu, Junda Chen, Siqi Zhu, Zheyu Fu, Zhongdongming Dai, Aurick Qiao, Hao Zhang

cs.AI

Аннотация

Быстрое развитие крупных языковых моделей (LLM) разблокировало их возможности в продвинутых задачах рассуждения, таких как решение математических проблем, генерация кода и юридический анализ. Ключевым для этого прогресса являются алгоритмы рассуждения во время вывода, которые улучшают результаты, исследуя несколько путей решения, за счет увеличения вычислительной нагрузки и времени ответа. Существующие системы обслуживания не могут адаптироваться к масштабированию этих алгоритмов или изменчивой сложности запросов, что приводит к неэффективному использованию ресурсов и недостижению целей по времени отклика. Мы представляем Dynasor, систему, которая оптимизирует вычисления во время вывода для запросов рассуждения LLM. В отличие от традиционных движков, Dynasor отслеживает и планирует запросы в рамках запросов рассуждения и использует Certaindex, прокси, который измеряет статистический прогресс рассуждения на основе уверенности модели, для динамического руководства выделением вычислительных ресурсов. Dynasor совместно адаптирует планирование к прогрессу рассуждения: он выделяет больше вычислительных ресурсов для сложных запросов, уменьшает вычисления для более простых и досрочно завершает бесперспективные запросы, обеспечивая баланс между точностью, временем отклика и затратами. На разнообразных наборах данных и алгоритмах Dynasor сокращает вычисления до 50% при пакетной обработке и поддерживает повышение скорости запросов в 3,3 раза или сокращение времени отклика в 4,7 раза в реальном времени.

English

The rapid evolution of large language models (LLMs) has unlocked their capabilities in advanced reasoning tasks like mathematical problem-solving, code generation, and legal analysis. Central to this progress are inference-time reasoning algorithms, which refine outputs by exploring multiple solution paths, at the cost of increasing compute demands and response latencies. Existing serving systems fail to adapt to the scaling behaviors of these algorithms or the varying difficulty of queries, leading to inefficient resource use and unmet latency targets. We present Dynasor, a system that optimizes inference-time compute for LLM reasoning queries. Unlike traditional engines, Dynasor tracks and schedules requests within reasoning queries and uses Certaindex, a proxy that measures statistical reasoning progress based on model certainty, to guide compute allocation dynamically. Dynasor co-adapts scheduling with reasoning progress: it allocates more compute to hard queries, reduces compute for simpler ones, and terminates unpromising queries early, balancing accuracy, latency, and cost. On diverse datasets and algorithms, Dynasor reduces compute by up to 50% in batch processing and sustaining 3.3x higher query rates or 4.7x tighter latency SLOs in online serving.