Arch-Router: Het Afstemmen van LLM-Routing op Menselijke Voorkeuren

Arch-Router: Aligning LLM Routing with Human Preferences

June 19, 2025

Auteurs: Co Tran, Salman Paracha, Adil Hafeez, Shuguang Chen

cs.AI

Samenvatting

Met de snelle opkomst van grote taalmodellen (LLM's) – elk geoptimaliseerd voor verschillende sterktes, stijlen of latentie/kostenprofielen – is routering een essentiële techniek geworden om het gebruik van verschillende modellen operationeel te maken. Bestaande LLM-routeringsbenaderingen hebben echter twee belangrijke beperkingen: ze evalueren prestaties met behulp van benchmarks die vaak geen rekening houden met menselijke voorkeuren die worden gestuurd door subjectieve evaluatiecriteria, en ze selecteren meestal uit een beperkte pool van modellen. In dit werk stellen we een voorkeursafgestemd routeringsraamwerk voor dat modelselectie begeleidt door queries te matchen met door de gebruiker gedefinieerde domeinen (bijv. reizen) of actietypen (bijv. beeldbewerking) – wat een praktisch mechanisme biedt om voorkeuren in routeringsbeslissingen te coderen. Specifiek introduceren we Arch-Router, een compact 1,5B-model dat leert om queries toe te wijzen aan domein-actievoorkeuren voor routeringsbeslissingen. Onze aanpak ondersteunt ook het naadloos toevoegen van nieuwe modellen voor routering zonder hertraining of architectuurwijzigingen te vereisen. Experimenten op conversatiedatasets tonen aan dat onze aanpak state-of-the-art (SOTA) resultaten behaalt in het matchen van queries met menselijke voorkeuren, en daarbij toonaangevende propriëtaire modellen overtreft. Onze aanpak vangt subjectieve evaluatiecriteria en maakt routeringsbeslissingen transparanter en flexibeler. Ons model is beschikbaar op: https://huggingface.co/katanemo/Arch-Router-1.5B.

English

With the rapid proliferation of large language models (LLMs) -- each optimized for different strengths, style, or latency/cost profile -- routing has become an essential technique to operationalize the use of different models. However, existing LLM routing approaches are limited in two key ways: they evaluate performance using benchmarks that often fail to capture human preferences driven by subjective evaluation criteria, and they typically select from a limited pool of models. In this work, we propose a preference-aligned routing framework that guides model selection by matching queries to user-defined domains (e.g., travel) or action types (e.g., image editing) -- offering a practical mechanism to encode preferences in routing decisions. Specifically, we introduce Arch-Router, a compact 1.5B model that learns to map queries to domain-action preferences for model routing decisions. Our approach also supports seamlessly adding new models for routing without requiring retraining or architectural modifications. Experiments on conversational datasets demonstrate that our approach achieves state-of-the-art (SOTA) results in matching queries with human preferences, outperforming top proprietary models. Our approach captures subjective evaluation criteria and makes routing decisions more transparent and flexible. Our model is available at: https://huggingface.co/katanemo/Arch-Router-1.5B.