MoTE: マルチタスクビデオ理解のためのタスク専門家混合

要旨

手続き的ビデオ言語モデルは、行動認識、行動予測、手順予測を含む異種タスクを同じ視覚的証拠から解決しなければならない。Denseトランスフォーマーデコーダはタスク間で同一のフィードフォワードネットワークを共有するため、タスクの挙動が絡み合い、制御された能力拡張を困難にする。スパース混合エキスパート（MoE）デコーダは条件付き計算を提供するが、トークンレベルの学習済みルーティングはタスクレベルの手続き的目標と自然には整合しない。我々は、マルチモーダルバックボーンを共有したまま、大規模言語モデルのフィードフォワードネットワークをタスク特化エキスパートに変換するデコーダアーキテクチャであるMoTE（Mixture of Task Experts）を提案する。各サンプルは単一のサンプルレベルのタスクルートに従うため、アクティブなタスクエキスパートの計算量は、格納されたタスクエキスパートの数に依存しない。我々はこの設計をVideoLLM-MoTEとして実装し、明示的なタスクルートを用いて5つのCOINベンチマークで評価する。5エキスパートモデルはサンプルあたり約2BのLLMパラメータを活性化し、最近のVideoLLMベースラインよりも高い平均Top-1精度を達成する。同じエキスパートトポロジーの下で、本手法は全てのエキスパートを活性化するDense方式や学習されたスパースルーティング制御よりも改善を示す。これらの結果は、タスク構造化ルーティングがマルチタスクのビデオ言語学習において、解釈可能で計算効率の高いデコーダの代替手段を提供することを示している。

English

Procedural video-language models must solve heterogeneous tasks from the same visual evidence, including action recognition, forecasting, and procedure prediction. Dense transformer decoders share the same feed-forward networks across tasks, which can entangle task behavior and make controlled capability expansion difficult. Sparse Mixture-of-Experts (MoE) decoders provide conditional computation, but token-level learned routing is not naturally aligned with task-level procedural objectives. We propose MoTE (Mixture of Task Experts), a decoder architecture that converts large language model feed-forward networks into task-specific experts while keeping the multimodal backbone shared. Each example follows one sample-level task route, so active task-expert computation remains independent of the number of stored task experts. We instantiate this design as VideoLLM-MoTE and evaluate it on five COIN benchmarks using explicit task routes. The five-expert model activates ~2B LLM parameters per sample and achieves higher average top-1 accuracy than recent VideoLLM baselines. Under the same expert topology, it improves over dense all-expert activation and learned sparse-routing controls. These results show that task-structured routing provides an interpretable and compute-efficient decoder alternative for multi-task video-language learning.