Routing Scalabile dei Prompt tramite Scoperta di Task Latenti a Grana Fina
Scalable Prompt Routing via Fine-Grained Latent Task Discovery
March 19, 2026
Autori: Yunyi Zhang, Soji Adeshina, Patrick Guan, Ashwin Ganesh, Zhen Han, Vassilis N. Ioannidis, Huzefa Rangwala, George Karypis
cs.AI
Abstract
Il routing dinamico dei prompt seleziona automaticamente il modello linguistico più appropriato da un insieme di candidati per ogni query, ottimizzando le prestazioni mentre gestisce i costi. Man mano che gli insiemi di modelli si espandono includendo dozzine di modelli all'avanguardia con differenze prestazionali minime, gli approcci esistenti affrontano sfide significative: le tassonomie di compiti definite manualmente non riescono a cogliere distinzioni granulari delle capacità, mentre router monolitici faticano a differenziare sottili differenze tra compiti diversificati. Proponiamo un'architettura di routing a due stadi che affronta queste limitazioni attraverso la scoperta automatizzata di compiti granulari e la stima della qualità consapevole del compito. Il nostro primo stadio utilizza il clustering basato su grafo per scoprire tipi di compiti latenti e addestra un classificatore per assegnare i prompt ai compiti scoperti. Il secondo stadio utilizza un'architettura mixture-of-experts con teste di previsione specifiche per compito per stime di qualità specializzate. Durante l'inferenza, aggreghiamo le previsioni di entrambi gli stadi per bilanciare la stabilità a livello di compito con l'adattabilità specifica del prompt. Valutato su 10 benchmark con 11 modelli all'avanguardia, il nostro metodo supera costantemente i baseline esistenti e supera il modello individuale più forte, incorrendo in meno della metà del suo costo.
English
Prompt routing dynamically selects the most appropriate large language model from a pool of candidates for each query, optimizing performance while managing costs. As model pools scale to include dozens of frontier models with narrow performance gaps, existing approaches face significant challenges: manually defined task taxonomies cannot capture fine-grained capability distinctions, while monolithic routers struggle to differentiate subtle differences across diverse tasks. We propose a two-stage routing architecture that addresses these limitations through automated fine-grained task discovery and task-aware quality estimation. Our first stage employs graph-based clustering to discover latent task types and trains a classifier to assign prompts to discovered tasks. The second stage uses a mixture-of-experts architecture with task-specific prediction heads for specialized quality estimates. At inference, we aggregate predictions from both stages to balance task-level stability with prompt-specific adaptability. Evaluated on 10 benchmarks with 11 frontier models, our method consistently outperforms existing baselines and surpasses the strongest individual model while incurring less than half its cost.