Arch-Router: Согласование маршрутизации языковых моделей с предпочтениями человека

Arch-Router: Aligning LLM Routing with Human Preferences

June 19, 2025

Авторы: Co Tran, Salman Paracha, Adil Hafeez, Shuguang Chen

cs.AI

Аннотация

С быстрым распространением крупных языковых моделей (LLM), каждая из которых оптимизирована для различных сильных сторон, стилей или профилей задержки/стоимости, маршрутизация стала важной техникой для операционализации использования различных моделей. Однако существующие подходы к маршрутизации LLM ограничены в двух ключевых аспектах: они оценивают производительность с использованием бенчмарков, которые часто не учитывают предпочтения пользователей, основанные на субъективных критериях оценки, и обычно выбирают из ограниченного пула моделей. В данной работе мы предлагаем фреймворк маршрутизации, согласованный с предпочтениями, который направляет выбор модели, сопоставляя запросы с определенными пользователем доменами (например, путешествия) или типами действий (например, редактирование изображений), — предлагая практический механизм для кодирования предпочтений в решениях о маршрутизации. В частности, мы представляем Arch-Router, компактную модель на 1,5 миллиарда параметров, которая учится сопоставлять запросы с предпочтениями доменов и действий для принятия решений о маршрутизации моделей. Наш подход также поддерживает бесшовное добавление новых моделей для маршрутизации без необходимости переобучения или изменений архитектуры. Эксперименты на диалоговых наборах данных демонстрируют, что наш подход достигает наилучших результатов (SOTA) в сопоставлении запросов с предпочтениями пользователей, превосходя ведущие проприетарные модели. Наш подход учитывает субъективные критерии оценки и делает решения о маршрутизации более прозрачными и гибкими. Наша модель доступна по адресу: https://huggingface.co/katanemo/Arch-Router-1.5B.

English

With the rapid proliferation of large language models (LLMs) -- each optimized for different strengths, style, or latency/cost profile -- routing has become an essential technique to operationalize the use of different models. However, existing LLM routing approaches are limited in two key ways: they evaluate performance using benchmarks that often fail to capture human preferences driven by subjective evaluation criteria, and they typically select from a limited pool of models. In this work, we propose a preference-aligned routing framework that guides model selection by matching queries to user-defined domains (e.g., travel) or action types (e.g., image editing) -- offering a practical mechanism to encode preferences in routing decisions. Specifically, we introduce Arch-Router, a compact 1.5B model that learns to map queries to domain-action preferences for model routing decisions. Our approach also supports seamlessly adding new models for routing without requiring retraining or architectural modifications. Experiments on conversational datasets demonstrate that our approach achieves state-of-the-art (SOTA) results in matching queries with human preferences, outperforming top proprietary models. Our approach captures subjective evaluation criteria and makes routing decisions more transparent and flexible. Our model is available at: https://huggingface.co/katanemo/Arch-Router-1.5B.