IR3DE: 大規模言語モデルのための線形ルーター

要旨

基盤となる大規模言語モデル（LLM）は、幅広い一般的なタスクに対して高い能力を示し、ドメイン特化型LLMを介して様々な専門タスクで顕著な成果を上げています。利用可能なLLMのリストが増え続ける中、各プロンプトに最も適したLLMを選択するための推論ルーターが提案されています。しかし、既存のルーティング手法は、弱いものから強いものまでの汎用LLM間でのコスト最適化を行うか、ドメイン専門知識ルーティングをサポートするために大規模なトレーニングを必要とするかのいずれかです。本論文では、各プロンプトに対して低コストかつ高速なルーティング判断を提供する、リッジ回帰に基づくドメインエキスパート用ルーターIR3DEを提案します。IR3DEを2つの因果言語モデリング（CLM）設定（全ドメインで次トークン予測タスク）と、各ドメインが独自の推論タスクを持つ1つの推論設定で評価します。線形ルーターであるにもかかわらず、IR3DEは両方のCLM設定で他のベースラインと同等の性能を達成し、推論設定ではそれらを上回り、正規化性能98.4%を達成しました。さらに、IR3DEは、ルーターをゼロから再トレーニングすることなく、新しいドメインエキスパートの追加や削除を可能にし、動的なLLMセットをルーター自体への最小限の中断で提供できます。コードはgithub.com/gensyn-ai/IR3DEで公開されています。

English

Foundational Large Language Models (LLMs) demonstrate proficiency on a wide range of general tasks, and achieve remarkable results on various specialized tasks via domain-expert LLMs. With the ever-growing list of available LLMs, inference routers are being proposed to select the most appropriate LLM for each prompt. However, existing routing methods either optimize cost across weak-to-strong generalist LLMs or require substantial training to support domain-expertise routing. In this paper, we propose IR3DE, a Ridge Regression-based Router for Domain Experts that provides cheap and fast routing decisions for each prompt. We evaluate IR3DE in two Causal Language Modeling (CLM) settings where the tasks are next-token prediction for all domains, and one reasoning setting where each domain has its own distinct reasoning task. Despite being a linear router, IR3DE achieves performance comparable to the other baselines in both CLM settings, and surpassing them in the reasoning setting, with a normalized performance of 98.4%. Moreover, IR3DE enables the addition or removal of new domain experts without requiring the router to be retrained from scratch, allowing a dynamic set of LLMs to be served with minimal disruption to the router itself. Our code is available at: github.com/gensyn-ai/IR3DE.