Arch-Router: Alineación del Enrutamiento de Modelos de Lenguaje con las Preferencias Humanas

Arch-Router: Aligning LLM Routing with Human Preferences

June 19, 2025

Autores: Co Tran, Salman Paracha, Adil Hafeez, Shuguang Chen

cs.AI

Resumen

Con la rápida proliferación de modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés), cada uno optimizado para diferentes fortalezas, estilos o perfiles de latencia/costo, el enrutamiento se ha convertido en una técnica esencial para operacionalizar el uso de distintos modelos. Sin embargo, los enfoques actuales de enrutamiento de LLMs presentan dos limitaciones clave: evalúan el rendimiento utilizando puntos de referencia que a menudo no capturan las preferencias humanas impulsadas por criterios de evaluación subjetivos, y generalmente seleccionan entre un conjunto limitado de modelos. En este trabajo, proponemos un marco de enrutamiento alineado con preferencias que guía la selección de modelos al emparejar consultas con dominios definidos por el usuario (por ejemplo, viajes) o tipos de acción (por ejemplo, edición de imágenes), ofreciendo un mecanismo práctico para codificar preferencias en las decisiones de enrutamiento. Específicamente, presentamos Arch-Router, un modelo compacto de 1.5B que aprende a mapear consultas a preferencias de dominio-acción para decisiones de enrutamiento de modelos. Nuestro enfoque también permite agregar nuevos modelos para enrutamiento sin necesidad de reentrenamiento o modificaciones arquitectónicas. Experimentos en conjuntos de datos conversacionales demuestran que nuestro enfoque alcanza resultados de vanguardia (SOTA, por sus siglas en inglés) en la correspondencia de consultas con preferencias humanas, superando a los principales modelos propietarios. Nuestro enfoque captura criterios de evaluación subjetivos y hace que las decisiones de enrutamiento sean más transparentes y flexibles. Nuestro modelo está disponible en: https://huggingface.co/katanemo/Arch-Router-1.5B.

English

With the rapid proliferation of large language models (LLMs) -- each optimized for different strengths, style, or latency/cost profile -- routing has become an essential technique to operationalize the use of different models. However, existing LLM routing approaches are limited in two key ways: they evaluate performance using benchmarks that often fail to capture human preferences driven by subjective evaluation criteria, and they typically select from a limited pool of models. In this work, we propose a preference-aligned routing framework that guides model selection by matching queries to user-defined domains (e.g., travel) or action types (e.g., image editing) -- offering a practical mechanism to encode preferences in routing decisions. Specifically, we introduce Arch-Router, a compact 1.5B model that learns to map queries to domain-action preferences for model routing decisions. Our approach also supports seamlessly adding new models for routing without requiring retraining or architectural modifications. Experiments on conversational datasets demonstrate that our approach achieves state-of-the-art (SOTA) results in matching queries with human preferences, outperforming top proprietary models. Our approach captures subjective evaluation criteria and makes routing decisions more transparent and flexible. Our model is available at: https://huggingface.co/katanemo/Arch-Router-1.5B.