Efficiënte Bediening van LLM Redeneerprogramma's met Certaindex

Efficiently Serving LLM Reasoning Programs with Certaindex

December 30, 2024

Auteurs: Yichao Fu, Junda Chen, Siqi Zhu, Zheyu Fu, Zhongdongming Dai, Aurick Qiao, Hao Zhang

cs.AI

Samenvatting

De snelle evolutie van grote taalmodellen (LLM's) heeft hun mogelijkheden ontsloten in geavanceerde redeneertaken zoals wiskundige probleemoplossing, codegeneratie en juridische analyse. Centraal in deze vooruitgang staan redeneeralgoritmes op inferentietijd, die uitvoer verfijnen door meerdere oplossingspaden te verkennen, ten koste van toenemende rekeneisen en responstijden. Bestaande bedieningssystemen slagen er niet in zich aan te passen aan de schaalbaarheid van deze algoritmes of de variërende moeilijkheidsgraad van vragen, wat leidt tot inefficiënt gebruik van middelen en niet nagekomen latentiedoelen. We presenteren Dynasor, een systeem dat inferentietijdrekenkracht optimaliseert voor LLM-redeneervragen. In tegenstelling tot traditionele engines volgt en plant Dynasor verzoeken binnen redeneervragen en gebruikt het Certaindex, een proxy die statistische redeneervoortgang meet op basis van modelzekerheid, om rekenkracht dynamisch te sturen. Dynasor past planning aan op redeneervoortgang: het wijst meer rekenkracht toe aan moeilijke vragen, vermindert rekenkracht voor eenvoudigere vragen en beëindigt veelbelovende vragen vroegtijdig, waarbij nauwkeurigheid, latentie en kosten in balans worden gehouden. Op diverse datasets en algoritmes vermindert Dynasor rekenkracht tot 50% bij batchverwerking en handhaaft het 3,3x hogere vraagsnelheden of 4,7x strakkere latentie-SLO's bij online bediening.

English

The rapid evolution of large language models (LLMs) has unlocked their capabilities in advanced reasoning tasks like mathematical problem-solving, code generation, and legal analysis. Central to this progress are inference-time reasoning algorithms, which refine outputs by exploring multiple solution paths, at the cost of increasing compute demands and response latencies. Existing serving systems fail to adapt to the scaling behaviors of these algorithms or the varying difficulty of queries, leading to inefficient resource use and unmet latency targets. We present Dynasor, a system that optimizes inference-time compute for LLM reasoning queries. Unlike traditional engines, Dynasor tracks and schedules requests within reasoning queries and uses Certaindex, a proxy that measures statistical reasoning progress based on model certainty, to guide compute allocation dynamically. Dynasor co-adapts scheduling with reasoning progress: it allocates more compute to hard queries, reduces compute for simpler ones, and terminates unpromising queries early, balancing accuracy, latency, and cost. On diverse datasets and algorithms, Dynasor reduces compute by up to 50% in batch processing and sustaining 3.3x higher query rates or 4.7x tighter latency SLOs in online serving.