MoTE: 멀티태스크 비디오 이해를 위한 태스크 전문가 혼합

초록

절차적 비디오-언어 모델은 행동 인식, 미래 예측, 절차 예측을 포함한 이질적 작업들을 동일한 시각적 증거로부터 해결해야 한다. 밀집 트랜스포머 디코더는 작업 간에 동일한 피드포워드 네트워크를 공유하므로 작업별 동작이 서로 얽히고 제어된 능력 확장이 어려워질 수 있다. 희소 전문가 혼합(MoE) 디코더는 조건부 계산을 제공하지만, 토큰 수준의 학습된 라우팅은 작업 수준의 절차적 목표와 자연스럽게 정렬되지 않는다. 본 논문에서는 다중 모드 백본을 공유하면서 대규모 언어 모델의 피드포워드 네트워크를 작업별 전문가로 변환하는 디코더 아키텍처인 MoTE(Mixture of Task Experts)를 제안한다. 각 예제는 샘플 수준의 단일 작업 경로를 따르므로, 활성 작업-전문가 계산은 저장된 작업 전문가 수와 무관하게 유지된다. 우리는 이 설계를 VideoLLM-MoTE로 구현하고 명시적 작업 경로를 사용하여 다섯 개의 COIN 벤치마크에서 평가한다. 다섯 전문가 모델은 샘플당 약 20억 개의 LLM 파라미터를 활성화하며, 최근 VideoLLM 기준 모델들보다 더 높은 평균 top-1 정확도를 달성한다. 동일한 전문가 토폴로지 하에서, 제안 모델은 모든 전문가를 활성화하는 밀집 방식 및 학습된 희소 라우팅 대조 방식보다 우수한 성능을 보인다. 이러한 결과는 작업 구조적 라우팅이 다중 작업 비디오-언어 학습을 위한 해석 가능하고 계산 효율적인 디코더 대안을 제공함을 보여준다.

English

Procedural video-language models must solve heterogeneous tasks from the same visual evidence, including action recognition, forecasting, and procedure prediction. Dense transformer decoders share the same feed-forward networks across tasks, which can entangle task behavior and make controlled capability expansion difficult. Sparse Mixture-of-Experts (MoE) decoders provide conditional computation, but token-level learned routing is not naturally aligned with task-level procedural objectives. We propose MoTE (Mixture of Task Experts), a decoder architecture that converts large language model feed-forward networks into task-specific experts while keeping the multimodal backbone shared. Each example follows one sample-level task route, so active task-expert computation remains independent of the number of stored task experts. We instantiate this design as VideoLLM-MoTE and evaluate it on five COIN benchmarks using explicit task routes. The five-expert model activates ~2B LLM parameters per sample and achieves higher average top-1 accuracy than recent VideoLLM baselines. Under the same expert topology, it improves over dense all-expert activation and learned sparse-routing controls. These results show that task-structured routing provides an interpretable and compute-efficient decoder alternative for multi-task video-language learning.